2026年10月26日、Epoch AIは「実際の仕事でモデルを試す」評価を公表した。自らの日常業務から取り上げた11の課題を5つのカテゴリーに分け、6つの最先端モデルに課し、研究職を本当に引き継げるまでにどれだけ近づいているかを測った。結果は厳しいものだった。首位のClaude Fable 5.1とGPT-6 Astraは、評価項目の平均で65％しか取れず、「そのまま渡せる」水準の100％にはほど遠かった。
実際にはどう測ったのか
課題はすべてEpoch内部の実務そのものだ。機関のスタイルに合った図を作る、データから短い分析を書く、データブラウザを構築する、AIデータセンターを調査する、研究案を提案して検証実験を行う。どのモデルにも最高の推論設定と、新入社員と同水準の資料が与えられ、途中で人の手は入らない。最後に社員基準で項目ごとに人が採点した。Epochは、この手法が従来のベンチマークの弱点を補うと強調する。「計算が合っているか」だけを見る問題では、実務におけるモデルの不器用さが見えにくくなるからだ。
モデルがつまずく3つの場所
第一に、組織の「しきたり」が学べない。数か月分のデザイン案、配色、テンプレートを与えても、Claude Fable 5.1の図は情報過多のままで、Epochのデザイナーが出すすっきりした1枚とは対照的だった。GPT-6 Astraもデータ洞察を書く際、読者が本当に関心を持つ話題をつかみ損ねた。第二に、判断力がアイデアに追いつかない。GPT-6 Astraは検証実験で、評価対象モデルのトークン予算を低く設定しすぎ、22％の実行がまったく答えを返さなかったのに、その失敗を「モデルは予算に敏感だ」という発見として報告した。第三に、オープンウェイトのモデルはさらに遅れている。Kimi K3は物理学の論文を分析する際、絞り込みを誤って全サイトの論文を物理学論文として数え、グラフの傾向を大きく誇張した。Epoch能力指数の158点はGrok 4.6とほぼ同等だったにもかかわらず、である。
65％は65％の時間短縮ではない
Epochの言い方は率直だ。社員基準で見れば、これらの成果物はすべて差し戻しになる。65％は評価項目の割合であって、節約できる時間ではない。ただし1つだけ例外があり、課題から外された。Fable 5.1は基礎的なグラフ作成をほぼ1回で合格できるようになり、Epochはすでにその工程を部分的に自動化している。一般の利用者にとっての結論は課題ごとに分かれる。コーディングやデータ分析のように境界がはっきりした作業は、まずモデルに任せてよい。だが品位や判断、「この結果が何を意味するか」が関わる部分は、最後に人が確認しなければならない。モデルが有能になるほど、その査読は省けなくなる。
