疎活性化

ハイブリッドエキスパート(MoE)とは何ですか? なぜ多くの人気モデルはパラメータが大きいのに、起動量はそれほど大きくないのでしょうか?

Mixture of Experts(MoE)は「毎回全体を組み立てるわけではない」モデルアーキテクチャです。 最も重要な特徴は、モデルの一部層が複数のエキスパートモジュールに分割され、ルーターが現在のトークンに割り当てるべきエキスパートを決定することです。 このようにして、モデルの総パラメータを非...