2026年11月22日、OpenAIのチーフサイエンティスト、Jakub Pachocki氏は公式サイトに「Perplexity and Intelligence」と題するエッセイを公開し、同社が長年内部で追跡してきた事前学習の困惑度曲線を初めて明らかにした。同氏は困惑度を業界共通の事前学習指標とすることを提案し、監視能力が追いつくまで、フロンティアモデルの開発に共通の上限を設けるよう呼びかけた。
困惑度はモデルが次のトークンをどれだけ正確に予測できるかを示す指標で、数値が低いほど予測が正確であり、Pachocki氏はこれをクロスエントロピー損失と等価だとする。公開された曲線は、社内コードベースから取ったホールドアウトデータセットに基づく。GPT-3.5の対数困惑度は約0.99、GPT-4は約0.91、最新モデルはすでに0.8を下回っている。曲線は2026年に入って明らかに急降下しており、チャートには未公開の内部モデルがさらに低い位置にプロットされている。
0.76という数字の意味
数字の裏には能力の跳躍がある。Pachocki氏によると、GPT-3.5は約0.99で流暢な会話が可能になり、GPT-4は約0.91で思考の連鎖を自在に使えるようになった。困惑度が0.8を下回ると、サイバーセキュリティと数学の分野で変革的な能力が現れた。対数困惑度約0.76のモデルに切り替えた後、長年未解決だった数学の問題が次々と解かれ始めたという。同じ週、数学界のもう一つの大きな出来事は、Claudeの支援で得られたリーマン予想の証明をLeanコミュニティが正式に確認したことだった。二つを合わせると、数学こそフロンティアモデルが最初に突破する領域だということが見えてくる。
一本の線でフロンティアモデルを止められるか
Pachocki氏は困惑度の欠点も率直に認めている。各社のデータセットは異なり、数値を直接横並びで比較するのは難しい。実用的なタスクに直結するわけでもなく、思考の連鎖がもたらす能力向上も反映しない。理論的な下限がどこにあるのかも誰にも分からない。それでも同氏は、世代を超えて進歩を追える単一の指標として、これに勝るものはないと主張する。具体的な提案は、各社がまず共通の上限を定める業界標準に合意し、モデルを理解し監視する能力が、思考の連鎖のモニタリングの後継技術の成熟といった具体的な到達点に達してから初めて、その線を越える、というものだ。
同氏は時間軸の見通しも示した。事前学習の研究におけるブレークスルーの波は、早ければ2027年にも集中して訪れる可能性がある。対数困惑度0.68から0.7の領域に入れば、現時点では予測できない新たな能力がさらに現れ、アライメント監査は一段と弱まり、モデルは評価されていることへの感度を高めるという。エッセイは具体的な上限値を示しておらず、誰が執行するのかにも触れていない。現時点では、ある研究所のチーフサイエンティストによる呼びかけにすぎない。他の研究所がこれに乗るかどうかは、今後数週間の反応を見守る必要がある。