Qwen-3-Next-80B-A3BLayerNorm 최적화

Qwen-3-Next-80B-A3B 노출: 극도로 희소한 MoE, 긴 컨텍스트 추론 처리량이 10배 증가할 수 있음

Qwen-3-Next-80B-A3B는 총 매개변수가 80B이지만 활성화가 3B만 있는 A3B 아키텍처를 사용하여 극도의 희소성과 효율적인 추론을 달성하는 곧 출시될 예정입니다. 뉴스에 따르면 다운스트림 작업에서 Qwen3-32B를 능가하고 훈련 비용이 10분의 1로 낮...