MedChemBench 来了:OpenAI 在 11 月 20 日推出药物化学推理基准,用 99 道源自真实论文与专利的题目,考模型能不能像药物化学家一样思考。GPT-6.2 Astra 拿下 84.5% 的总分,但这张成绩单最值得看的不是总分,而是分项——模型画分子结构接近满分,到了真正决定候选药物的环节,得分直接掉到一半左右。
这套基准的题目取自 117 篇论文和专利,覆盖 761 个不同的分子结构,分七个类别,聚焦临床前药物发现,不涉及临床开发。评分分四块:按给定的结构图和化学基团还原分子、依据实验数据解释结果、给化合物排序并选出候选者、预测数值与类别属性。OpenAI 目前只测了自家模型:在最高推理档位 xhigh,GPT-6.2 Astra 拿 84.5%,GPT-6 Astra 83.3%,GPT-6.1 Sol 82.0%,GPT-5.6 Sol 58.2%。
结构分接近满分,选药环节只有一半
分项成绩把短板摊得很清楚。GPT-6 Astra 还原分子结构拿了 95.4% 的分数,科学解释 91.05%,但化合物排序与选择只有 50.42%,数值预测 47.02%。换句话说,模型擅长把已知的分子画对、把道理讲圆,到了要在多个候选者里挑出最值得推进的那一个、并给出靠谱的数值预测时,水平只到一半。而药物化学家真正花时间的地方,恰恰是后者。
这对两类人有直接意义。做药物研发的团队可以把 MedChemBench 当成一把尺子:先用它摸清模型在结构与解释上的强项,再对选药与预测留足人工复核。普通读者则要小心一种误读——84.5% 不等于 AI 能发现新药。OpenAI 在发布里自己划了线:这些结果不能证明模型可以发现新药或改善实验室决策,无法排除模型事先接触过来源论文,每道题都是一次作答,没有工具、反馈和新实验。而且目前只有 OpenAI 自家模型参评,缺少外部模型的横向对照。
接下来值得盯的是两件事:OpenAI 会不会把这套基准开放给第三方模型跑分,以及它能否演进出更贴近真实研发流程的开放式任务。药物化学的考场刚搭好,模型离真正上岗还有距离。想了解这次拿下最高分的模型本身,可看本站此前对 GPT-6.2 Astra 与 Sol 发布的解析。