Qwen3-Next-80B-A3B 아키텍처 분석

Qwen3-Next-80B-A3B 출시: 3B 활성화 초희소 MoE, 긴 컨텍스트 처리량에 대한 새로운 벤치마크

Qwen3-Next-80B-A3B는 총 매개변수 80B에 중점을 두고 토큰당 3B 활성화만 가능하며 하이브리드 아키텍처(Gated DeltaNet+Gated Attention), 초희소 MoE(전문가 512명, 경로 10개 + 공유 1개) 및 다중 토큰 예측을 채택합니...