11月2日、SemiAnalysis はエージェントベンチマーク GDPx を公開した。11の高価値領域を対象とし、タスクは計206件。SemiAnalysis が公表した順位表によると、最上位の Claude Opus 5.5 でも 12.0％にとどまり、Gemini 4 Carbon が 10.9％で2位、GPT-6 Astra が 9.6％で3位だった。低い得点は意図的なもので、このベンチマークは実際の仕事の難しさに合わせて作られている。最先端モデルも、専門的な仕事を独力でやり遂げるにはまだ遠い。
タスクは単発の質問ではなく、実際の仕事の現場から
GDPx のタスクは14社の専門データパートナーが提供し、11領域にはチップ設計、サイバーセキュリティ、生物学、金融、法律、クオンツ取引、再帰的自己改善、ハードウェア設計、材料科学、アライメント、ソフトウェア工学が含まれる。各タスクの既定の制限時間は8時間で、モデルはそれぞれのネイティブな実行環境で動く。Opus 5.5 は Claude Code、GPT-6 Astra は Codex、Gemini 4 Carbon は Antigravity を使い、ネイティブ環境がない場合は OpenCode を使う。代表スコアは3回の試行における pass@1 の平均で、すべての領域が同じ重みで扱われる。金融と法律のタスクが最も難しく、SemiAnalysis によれば、ほぼすべてのモデルがこの2種類のタスクでゼロ点だった。
安全分類器が上位2モデルを引き下げ、計算方法で順位が変わる
SemiAnalysis は、Opus 5.5 と GPT-6 Astra の総合得点が、それぞれの安全分類器によって引き下げられたと注意を促している。サイバーセキュリティ、生物学、アライメントの領域では、分類器がモデルの操作を妨げることがある。この3領域を除くと、GPT-6 Astra がわずかな差で Opus 5.5 を逆転し、Gemini 4 Carbon は2位から5位に下がる。領域別に見ると、Opus 5.5 はクオンツ取引、ハードウェア設計、チップ設計で首位、Gemini 4 Carbon は生物学とソフトウェア工学で首位、GPT-6 Astra は再帰的自己改善と材料科学で最強だった。Meta の Muse Wonder Full は最良のサイバーセキュリティモデルと評価された。順位表は総合得点だけでは読めない。
GDPx の価値は順位そのものではなく警告にある。質問応答型のベンチマークだけで判断すると、長い複数ステップの仕事を処理する能力を過大評価してしまう。206件のタスクはすべて、模擬環境で情報を集め、ツールを使い、複数ステップを完了することを求め、1つのミスで全体がゼロ点になることもある。得点は評価方法とあわせて読む必要があり、ベンチマーク汚染の見分け方は新しいベンチマークにも同じく当てはまる。タスクが新しいか、採点が透明かによって、得点を信じられるかどうかが決まる。GDPx は結局、1つの機関による問題セットであり、その結論は独立した再現によって検証される必要がある。
SemiAnalysis によると、GDPx は3〜6か月ごとに更新され、順位表はすでに公開されている。注目すべきは、Gemini 4 Carbon が一般提供された後に順位が変わるかどうか、そして各社が長いタスク向けにエージェントを調整するかどうかだ。12％は出発点のように見える。その数字は、最先端モデルが本当に独力で働けるようになるまで、あとどれだけの隔たりがあるかを測っている。
