大規模言語モデルが次のトークンをどう選ぶか、サンプリングの仕組みを解説。Temperature、top-p、top-k などのパラメータが回答の多様性と安定性に与える影響を、用途別の設定の考え方とともに紹介する。
AIの出力が途中で止まったら、再生成を繰り返し押す前に、ネットワーク、利用枠、出力の長さの三種類に分けます。対処法はそれぞれ異なるため、まず見分けてから動きます。 まず中断の種類を見分ける ネットワークの中断は、ページがくるくる回ったり接続失敗の表示が出たりしますが、更新後も会話は残っています。利用...
AIの回答が急に短く雑になったら、モデルを替える前に、設定、文脈、利用枠の三つのうちどれかが原因であることがほとんどです。順番に確認すれば、通常5分で原因を特定できます。 第一：会話の設定が変わっていないか 現在の会話で「簡潔な回答」モードがオンになっていないか、システム指示が「最も短く答える」にな...
AIを使い続けるうちに「バカになった」と感じること、とてもよくある話だ。でも結論を急がないでほしい。十中八九、モデル自体が劣化したわけではなく、使い方の環境にある3つの変数が原因だ。A、B、Cの順にチェックしていけば、たいてい真犯人が見つかる。 まずAをチェック：今話しているのは、最初と同じモデルか...
初回トークン遅延とは、送信ボタンを押してからモデルが最初のトークンを出すまでの待ち時間で、英語では TTFT（Time To First Token）と略されます。AI 製品の「速さ」の第一印象はここで決まります。送信してから3〜4秒沈黙する製品もあれば、ほぼ即座に文字が出始める製品もあり、その差は...
投機的デコーディング（Speculative Decoding）は、大規模モデルの文章生成を高速化する手法です。まず、はるかに小さいドラフトモデルが次の数トークンを先回りして推測し、次に大規模モデルがその推測を1回の並列処理でまとめて検証します。正しいものは採用し、最初に間違えた位置で修正します。変...
自己回帰とは、大規模モデルが文章を生成するときに使う基本的な方式のことです。すでに現れたトークンをもとに、次に来る可能性が最も高いトークンを予測し、新しく生成したトークンを入力の末尾に付け足して、さらに次を予測する、という循環を、終了マーカーが出るか長さの上限に達するまで繰り返します。チャットで回答...
困惑度（パープレキシティ）とは、言語モデルが次の単語についてどれほど迷っているかを示す数字です。文を続ける場面で、実際に現れた単語にモデルが驚くほど数値は高く、当然に感じるほど低くなります。メーカーは新モデルの仕様表に好んで載せますが、これはモデルの賢さの成績表ではありません。答えている問いはとても...
AIの回答が毎回違うのは、ほとんどの場合まったく正常なことで、記憶力が悪いわけではありません。本当の理由は大きく2つです。1つは、モデルが文章を生成する際にランダムに単語をサンプリングしているため、同じ質問を2回実行すれば単語の選択経路が変わるのは当然だということ。もう1つは、2回の質問の条件が変わ...
