初回トークン遅延とは？最初の文字だけ遅く、後は速い理由
初回トークン遅延とは、送信ボタンを押してからモデルが最初のトークンを出すまでの待ち時間で、英語では TTFT（Time To First Token）と略されます。AI 製品の「速さ」の第一印象はここで決まります。送信してから3〜4秒沈黙する製品もあれば、ほぼ即座に文字が出始める製品もあり、その差は...
Admin •
149
モデル崩壊とは？自分の生成データで学び続けるとなぜ狭くなるのか
モデル崩壊とは、モデルが自分の生成したデータで繰り返し学習すると、出力の分布が世代ごとに狭くなり、現実世界の珍しいが重要な部分が消えていく現象です。よくある表現は増幅され、珍しい表現から先に消え、誤りが正解のように固定されます。 裾野はどう消えるのか 現実のデータは中央に集まり、少数が端、つまり分布...
Admin •
150
データアノテーションとは？モデルの模範解答は誰が用意しているのか
データアノテーションは、生の素材に答えを付けて学習素材へ加工する作業です。レビューに肯定か否定かのタグを付け、街の写真に写る車や歩行者を一つずつ枠で囲み、二つの AI の回答をどちらが良いか順位付けします。モデルが学習で繰り返し見るのはまさにこの注釈済みの例であり、身につける判断の仕方は、その大部分...
Admin •
157
ベンチマークとは？スコア1位のモデルが実使用で最強とは限らない理由
ベンチマークとは、AI モデル向けの標準化された試験のことだ。問題と採点ルールが固定され、複数のモデルが同じ問題に答えてスコアを比べる。必要な理由は実務的で、どの事業者も「自社が最強」と主張するため、横並びで測れる物差しが要るのだ。代表的な試験には、知識を問う質問、推論を見る数学・論理問題、テスト実...
Admin •
159
投機的デコーディングとは？小さいモデルが先に推測し、大きいモデルが検証する仕組み
投機的デコーディング（Speculative Decoding）は、大規模モデルの文章生成を高速化する手法です。まず、はるかに小さいドラフトモデルが次の数トークンを先回りして推測し、次に大規模モデルがその推測を1回の並列処理でまとめて検証します。正しいものは採用し、最初に間違えた位置で修正します。変...
Admin •
178
位置エンコーディングとは？モデルが語順を知るための仕組み
位置エンコーディングは、文中の各単語に付け足される順序の信号で、モデルがどのトークンが先でどれが後かを知るための仕組みです。自己注意は単語同士を比べ合いますが、順序そのものは生まれつき分かりません。位置情報がなければ、「犬が人を噛む」と「人が犬を噛む」は同じ単語の集まりに見えてしまいます。その穴を埋...
Admin •
127
少数ショット学習とは？モデルに数例見せるだけで真似できる理由
少数ショット学習は、大規模モデルに数件の例を見せるだけで、その形式と基準に沿って新しい課題をこなさせる使い方である。再学習は不要で、質問の前に二、三組の入力と望む出力を示せば、モデルはその規則性を見抜き、新しい内容にも同じ処理を適用する。事前学習で身につけた言語理解と課題理解があるからこそ成立する仕...
Admin •
108
プロンプトインジェクションとは？ウェブページや文書に隠れた言葉がAIに命令する
プロンプトインジェクションは、モデルが読み取る外部コンテンツの中に指示を隠し、データを命令と誤認させて実行させる攻撃手法である。コードを書き換えるわけでも、システムに侵入するわけでもない。大規模モデルが文脈を丁寧に読み取る性質を利用し、ウェブページや文書、メール、画像内の文字に要求を紛れ込ませること...
Admin •
145