プレトレーニングとは？モデルが会話を覚える前に、ネットの大半を読み込む段階
プレトレーニングは大規模言語モデルの最初の訓練段階です。会話やコーディングを覚える前に、モデルは大量のテキストで「次の単語を当てる」ことだけを繰り返します。この段階では礼儀も指示への従順さも教えず、言語の統計的パターン、事実の結びつき、表現の癖をパラメータに刻み込むだけです。おなじみの会話能力や推論...
Admin •
172
自己回帰とは？大規模モデルが一語ずつ文字を吐き出す理由
自己回帰とは、大規模モデルが文章を生成するときに使う基本的な方式のことです。すでに現れたトークンをもとに、次に来る可能性が最も高いトークンを予測し、新しく生成したトークンを入力の末尾に付け足して、さらに次を予測する、という循環を、終了マーカーが出るか長さの上限に達するまで繰り返します。チャットで回答...
Admin •
117
壊滅的忘却とは？新しい技能を覚えたモデルが、古い技能を落とす理由
壊滅的忘却とは、ニューラルネットワークが複数の課題を順番に学ぶとき、後の課題を身につける代わりに、前に覚えたことを広範囲に忘れてしまう現象です。出来上がったモデルへ新しい分野のデータで追加の微調整を行うと、新しい課題の成績は上がるのに、得意だった質問応答や分類、ある言語の扱いが目に見えて下がることが...
Admin •
137
困惑度（パープレキシティ）とは？数値が低いほどモデルは本当に賢いのか
困惑度（パープレキシティ）とは、言語モデルが次の単語についてどれほど迷っているかを示す数字です。文を続ける場面で、実際に現れた単語にモデルが驚くほど数値は高く、当然に感じるほど低くなります。メーカーは新モデルの仕様表に好んで載せますが、これはモデルの賢さの成績表ではありません。答えている問いはとても...
Admin •
100
過学習とは？練習問題を暗記したモデルが本番でつまずく理由
過学習とは、モデルが訓練データの細部やノイズまで覚え込んでしまい、練習問題では高得点でも、見たことのない新しいデータでは明らかに精度が落ちる現象です。モデルを評価するときは、訓練した問題での出来ではなく、新しい問題に規則を応用できるかどうかが重要です。過学習したモデルは規則を学んだのではなく、答えを...
Admin •
97
拡散モデルとは？画像生成がまず画面を乱してからゆっくり復元する理由
拡散モデルは、まずデータに段階的にノイズを加え、次にそのノイズを段階的に取り除く方法を学習することで新しいコンテンツを生成する生成モデルであり、現在の画像生成の主流手法の一つです。画像を直接描くのではなく、純粋なノイズから出発し、ノイズを一歩ずつ取り除いて、画面をゆっくりと浮かび上がらせます。 まず...
Admin •
100
創発能力とは何か？モデルが大きくなると、なぜ一部の能力が突然現れるのか
創発能力とは、小さなモデルではほとんどできなかった課題が、規模がある閾値を超えた途端に突然できるようになる能力のことです。これは普通の緩やかな上達ではなく、無から有への跳躍に見える変化です。モデルが小さいうちは、多段階の計算はほぼ全滅し、例をいくつか示しても新しい形式を学べません。ところが規模が一定...
Admin •
106
Tokenizerとは？同じ文でもモデルが変わるとtoken数が違う理由
Tokenizerは、あなたがモデルに送った文が最初に通る部品で、理解を担当するのではなく、分割と番号付けだけを行います。テキストが大規模モデルに入る前に、Tokenizerはそれをtokenに切り分け、語彙表の番号に置き換えます。モデルが実際に読むのは、その番号の列です。ここが分かると、多くの疑問...
Admin •
117