なぜ Transformer が大模型の標準的な骨組みになったのか、注意機構のコストはどこにあるのか、拡散言語モデルや単一ストリーム構造が何を変えようとしているのかを整理します。
位置エンコーディングは、文中の各単語に付け足される順序の信号で、モデルがどのトークンが先でどれが後かを知るための仕組みです。自己注意は単語同士を比べ合いますが、順序そのものは生まれつき分かりません。位置情報がなければ、「犬が人を噛む」と「人が犬を噛む」は同じ単語の集まりに見えてしまいます。その穴を埋...
Priming は、Amazon Web Services のチームが2026年10月12日に Amazon Science の公式ブログで公開したアーキテクチャ変換手法で、対応する論文も同日に公表された。解こうとしている問題は具体的だ。新しいハイブリッドアーキテクチャを試すには従来、モデルをゼロか...
プレトレーニングは大規模言語モデルの最初の訓練段階です。会話やコーディングを覚える前に、モデルは大量のテキストで「次の単語を当てる」ことだけを繰り返します。この段階では礼儀も指示への従順さも教えず、言語の統計的パターン、事実の結びつき、表現の癖をパラメータに刻み込むだけです。おなじみの会話能力や推論...
自己回帰とは、大規模モデルが文章を生成するときに使う基本的な方式のことです。すでに現れたトークンをもとに、次に来る可能性が最も高いトークンを予測し、新しく生成したトークンを入力の末尾に付け足して、さらに次を予測する、という循環を、終了マーカーが出るか長さの上限に達するまで繰り返します。チャットで回答...
Falcon-Emirati-7B は 2026 年 10 月 6 日、アラブ首長国連邦の技術革新研究所（TII）が Hugging Face の公式ブログで発表した、アラブ首長国連邦方言に特化した 7B モデルです。基盤は TII 自身の Falcon-H1-Arabic で、Mamba の状態空...
NaiveAI は 2026 年 9 月 27 日、オープンウェイトモデル Naive-N0.5-Flash を公開した。総パラメータ 309B、トークンあたりのアクティブパラメータは 15.5B の混合エキスパート（MoE）モデルで、ネイティブに 100 万トークンのコンテキストウィンドウをサポー...
知識蒸留（Knowledge Distillation）とは、学習済みの大規模モデル（教師モデル）から小さなモデル（生徒モデル）が学ぶ技術です。Geoffrey Hinton らが 2015 年の論文「Distilling the Knowledge in a Neural Network」で体系化...
コンテキストウィンドウとは、モデルが一度に「見る」ことができるトークン総量の上限です。プロンプト、会話履歴、検索で取得した資料、そしてモデル自身がすでに出力した返答まで、すべてが順番に一つの系列に並べられます。ウィンドウの大きさが決めるのはモデルの「作業台」の広さであり、賢さではありません。1Mトー...
