初回トークン遅延とは？最初の文字だけ遅く、後は速い理由

初回トークン遅延とは、送信ボタンを押してからモデルが最初のトークンを出すまでの待ち時間で、英語では TTFT（Time To First Token）と略されます。AI 製品の「速さ」の第一印象はここで決まります。送信してから3〜4秒沈黙する製品もあれば、ほぼ即座に文字が出始める製品もあり、その差は多くの場合、書き始めてからの速度ではなく、この最初の待ち時間にあります。

最初の文字が出る前にモデルがしていること

モデルは最初から一文字ずつ計算しているわけではありません。まず、質問と会話履歴、添付資料をまとめて読み込み、文脈の関係を計算し、計算資源の順番を待つという集中処理があります。この工程が終わって初めて最初の文字が出ます。負担は入力の長さに比例します。貼り付けた資料が長く、履歴が厚いほど、最後の質問が短くても「問題を読む」時間は長くなります。

初回遅延と生成速度は別の話

最初のトークンが出た後は、一つずつ生成する段階に入り、ここでは1秒あたりの生成量が効いてきます。そのため、始まりは速いのに後半どんどん遅くなるモデルもあれば、数秒待たせた後に一気に表示して全体では早く終わるモデルもあります。出始めの速さだけで製品の速さを判断すると、しばしば誤ります。短い質問では初回遅延が支配的で、長文の文書やレポートでは総完了時間の方が重要です。

初回遅延が目立って伸びる場面

一つ目は文脈が長すぎる場合です。数十ページの文書やコード全体を貼ると、読むだけで時間がかかります。二つ目は推論モデルです。発言前に内部で思考するため、思考量が多いほど待ち時間も長くなります。三つ目はピーク時の行列とコールドスタートです。夜は鈍く、深夜は軽い場合、モデルが変わったのではなく、前のリクエストが多いだけのことがほとんどです。

よくある二つの誤解

誤解一：初回が速い＝強いモデル。初回遅延は主にスケジューリングと入力処理を反映し、回答の質とは直接関係しません。小さいモデルほど始まりは速い一方、回答は浅くなりがちです。誤解二：長く待つ＝固まった。考え中と表示されていたり、大きなファイルを送った直後なら、もう少し待つのは通常の処理です。長く変化がなく、更新しても同じ場合に、接続やサービス側の問題を疑いましょう。