2026年11月14日,第三方数学评测 MathArena 更新榜单:谷歌 Gemini 4 Carbon 以 85.4% 的预期成绩登顶,把 OpenAI 的 GPT-6.1 Sol(80.6%)挤到第三,Anthropic 的 Claude Fable 5.2(82.8%)排第二。这是好久以来第一次有非 OpenAI 的模型站上这个榜单的榜首——但代价是,每做一道题,Carbon 要花 15.70 美元,约是 Sol 的 15 倍。
这个榜单到底在测什么
MathArena 由苏黎世联邦理工学院的研究员贾斯珀·德科宁克运营,特点是只用新发布的数学竞赛题和研究难题出题,避免模型靠背题拿分;每道题每种模型做四遍,取平均分。Carbon 的成绩是在"高"推理档位下跑出的,Sol 是"满"档位。榜单 11 月 13 日同时加入了 Carbon 和 Fable 5.2 的成绩:Carbon 11 月 10 日才正式全面上线,Fable 5.2 是 11 月 9 日发布的,而 Sol 自 9 月 29 日发布后一直守着榜首。需要留意的是,Carbon 的 85.4% 带有正负 3.0 个百分点的置信区间,Fable 5.2 更高、也更贵:每题 40.20 美元。
贵出来的分数值不值
对用模型做数学题的人来说,榜单真正有用的信息在价格栏里:Sol 每题 1.07 美元,Kimi K3.1 Pro 每题 3.70 美元,而 Carbon 每题 15.70 美元、Fable 每题 40.20 美元。德科宁克自己也提醒,因为成本太高,Carbon 只在 ArXivLean 一项评估上完整跑过,部分分数是统计估算而非实测;谷歌没有就这次登顶发公告,皮查伊和哈萨比斯只是转发了榜单运营者的帖子,没有置评。换句话说,榜首是真的,但它是用高推理档位和高额推理成本换来的。
选模型时怎么看这张榜
这张榜更像一张快照,而不是定论:它证明 Carbon 在纯数学推理上确实有顶级实力,但日常任务里要不要为这 4.8 分多花 15 倍的钱,取决于题目有多难、预算有多少。谷歌的快模型 Hydrogen 走的是另一条路,主打高性价比;Fable 5.2 的使用门槛和价格则又是另一笔账。等 Carbon 在更多评估上跑出实测分数、价格稳定下来之后,这张榜的排名才值得再看一次。