2026年11月22日,OpenAI 首席科学家 Jakub Pachocki 在官网发表《Perplexity and Intelligence》一文,首次公开了 OpenAI 内部追踪多年的预训练困惑度曲线,并提议把困惑度作为全行业通用的预训练衡量标准,在监测能力跟上之前,为前沿模型的开发设定共同上限。
困惑度衡量的是模型预测下一个词元的准确程度,数值越低,预测越准,Pachocki 把它等同于交叉熵损失。OpenAI 公开的曲线以内部代码库的留出数据集为基准:GPT-3.5 的对数困惑度约为 0.99,GPT-4 约为 0.91,最新模型已经降到 0.8 以下。曲线在 2026 年明显加速下探,图表中还有一个尚未发布的内部模型,位置更低。
0.76 这个数字意味着什么
数字背后是能力的跃迁。Pachocki 写道,GPT-3.5 达到约 0.99 时有了流畅对话,GPT-4 到约 0.91 时开始熟练运用思维链推理,而困惑度降到 0.8 以下后,网络安全与数学领域出现了变革性能力。模型换到对数困惑度约 0.76 后,开始接连攻克长期悬而未决的数学问题。同一个星期,数学界的另一件大事是 Claude 协助完成的黎曼猜想证明获 Lean 正式确认,两件事合在一起,说明数学正成为前沿模型最先突破的领域。
一条线,拦得住前沿模型吗
Pachocki 也坦承困惑度的短板:各家数据集不同,数字难以直接横向比较;它不直接对应任何实用任务,也反映不了思维链推理带来的能力提升;而且没人知道它的理论下限在哪里。但他认为,这仍是目前最能贯穿模型代际的单一指标。他的具体提议是:各家先就一套共同上限达成行业标准,只有当理解与监测模型的能力达到某个具体里程碑——例如思维链监测的后继技术成熟——之后,才允许越过这条线。
他同时给出时间判断:预训练研究的突破可能早在 2027 年就出现一波集中爆发,而进入对数困惑度 0.68 至 0.7 的区间后,还会出现目前无法预料的新能力,同时对齐审计会进一步弱化、模型对评测的感知会更强。文章没有点名任何具体的上限数值,也没有说明由谁来执行。这份提议目前只是一家实验室首席科学家的呼吁,其他实验室是否接招,要看接下来几周的回应。