Found 4 related articles
Mixture of Experts(MoE)は「毎回全体を組み立てるわけではない」モデルアーキテクチャです。 最も重要な特徴は、モデルの一部層が複数のエキスパートモジュールに分割され、ルーターが現在のトークンに割り当てるべきエキスパートを決定することです。 このようにして、モデルの総パラメータを非...
拡散LLMは、「拡散モデル」の核心的な考え方を言語モデルに移し、従来の自己回帰モデルのように1トークンずつ書き込むのではなく、徐々にノイズ除去と補正の方法でテキストを生成するものと理解できます。 最近話題になっているのは、Transformerの路線を完全に置き換えたからではなく、業界が他のテキスト...
スパースアテンションは単純に、各トークンがすべてのトークンを見るのではなく、選択的に一部のトークンだけを見るということです。 この用語は、長い文脈と推論コストの議論で繰り返し登場します。なぜなら、標準的な全注意は強力ですが、文脈が特に長くなると計算コストやビデオメモリのコストが急速に増加するためです...
トランスフォーマーはニューラルネットワークのアーキテクチャです。 名前が重要なのではなく、「並列処理」や「文脈モデリング」をうまく行っているからです。 今日見られる大規模な言語モデルの多くは、そのモデルやその変種と切り離せないものです。 トランスフォーマー以前は、多くのモデルがループ構造に頼り、テキ...