2026年10月26日,Epoch AI公布了一项“用真活考模型”的评测:拿自己日常做的11项任务、横跨5个类别,去考6个前沿模型,看它们离真正接管一份研究工作还有多远。结果并不乐观:领跑的Claude Fable 5.1和GPT-6 Astra平均只拿到65%的评分项,离“可以直接交差”的100%还差一大截。
这次到底怎么考
任务全部取自Epoch内部的真实工作:做一张符合机构风格的信息图、按数据写一篇短分析、搭建数据浏览器、调研一座AI数据中心、提出研究设想并跑一个验证实验。每个模型都拿到最高推理档位和新员工同等水平的资料,中间不再人工干预,最后由人工按员工标准逐项打分。Epoch特意强调,这套办法补的是传统基准的短板:那些只看“能不能算对”的题目,容易把模型在真实工作里的笨拙藏起来。
模型卡在三个地方
第一,学不会一家机构的“家规”。给了几个月的设计稿、配色和模板,Claude Fable 5.1交出的图还是信息过载,而机构设计师给的是干净利落的一张图;GPT-6 Astra写数据洞察时,也没摸准读者到底关心什么话题。第二,判断力跟不上想法。GPT-6 Astra在验证实验里把被测模型的token预算设得太低,导致22%的运行根本没有返回结果,却把这个失误当成“模型对预算敏感”的发现写进结论。第三,开源权重模型落得更远:Kimi K3在分析物理论文时算错了筛选范围,把全站论文当成物理论文,图表走势被严重夸大——而它在Epoch能力指数上的158分,本来和Grok 4.6差不多。
65%不等于能省65%的时间
Epoch把话说得很直白:按员工标准,这些产出每一件都要打回重改,65%只是评分项的比例,不是省下来的工时。不过也有一个例外被拿掉了:Fable 5.1做基础图表已经基本一次过关,Epoch现在就把这一步部分自动化了。对普通用户来说,结论是分层的:写代码、做数据分析这类边界清晰的活可以放心交给模型先干;但凡涉及品味、判断和“这结果到底说明了什么”,还得有人在最后把关——模型越能干,审稿这一步越不能省。