2026年11月14日、第三者の数学ベンチマークMathArenaがランキングを更新した。グーグルのGemini 4 Carbonが期待成績85.4%で首位に立ち、OpenAIのGPT-6.1 Sol（80.6%）を3位に押し下げ、アンソロピックのClaude Fable 5.2（82.8%）が2位に入った。OpenAI以外のモデルがこのランキングの首位に立つのは久しぶりのことだ。ただし代償は大きい。Carbonは1問あたり15.70ドルで、Solの約15倍かかる。
このベンチマークは何を測っているのか
MathArenaはチューリッヒ工科大学の研究者ヤスパー・デコニンク氏が運営する。特徴は、新しく公開された数学コンテストや研究問題だけを使う点で、モデルが暗記で点を稼ぐことを防ぐ。各モデルが各問題を4回解き、その平均を取る。Carbonの成績は「high」の推論設定、Solは「max」の設定で出された。ランキングには11月13日にCarbonとFable 5.2の結果が同時に追加された。Carbonが一般提供になったのは11月10日、Fable 5.2のリリースは11月9日で、Solは9月29日の公開以来ずっと首位を守ってきた。注意点もある。Carbonの85.4%にはプラスマイナス3.0ポイントの信頼区間があり、Fable 5.2はさらに高得点だが、1問40.20ドルとさらに高額だ。
高くついた得点に価値はあるか
数学にモデルを使う人にとって、ランキングで本当に役立つ数字はコストの欄にある。Solは1問1.07ドル、Kimi K3.1 Proは3.70ドルなのに対し、Carbonは15.70ドル、Fableは40.20ドルだ。デコニンク氏自身も注意を促している。コストが高いため、CarbonはArXivLeanの評価しか完全には実行できておらず、一部のスコアは実測ではなく統計的な推定だという。グーグルは首位獲得について何も発表しておらず、ピチャイ氏とハサビス氏はベンチマーク運営者の投稿を転載しただけで、コメントはしていない。つまり首位は本物だが、高推論設定と高額な推論コストで買ったものだ。
モデル選びでこのランキングをどう読むか
このランキングは結論というよりスナップショットだ。Carbonが純粋な数学推論で確かにトップ級の実力を持つことは証明されたが、日常のタスクでこの4.8ポイントのために15倍の費用を払うかどうかは、問題の難しさと予算次第だ。グーグルの高速モデルHydrogenは別の道を行く。コストパフォーマンス重視のモデルだ。Fable 5.2の利用ハードルと価格もまた別の計算になる。Carbonがより多くの評価で実測スコアを出し、価格が落ち着いたら、このランキングをもう一度見る価値がある。
