Qwen-3-Next-80B-A3BA3Bアーキテクチャ

Qwen-3-Next-80B-A3B 曝露: 極端にまばらな MoE、長いコンテキストの推論スループットが 10 倍に増加する可能性があります

Qwen-3-Next-80B-A3B は間もなくリリースされ、合計パラメータは 80B ですが、アクティベーションは 3B のみの A3B アーキテクチャを使用し、極度のスパース性と効率的な推論を実現します。 ニュースによると、ダウンストリーム タスクでは Qwen3-32B を上回り、トレーニン...