BioBasicsBench 是 OpenAI 在 2026 年 11 月 6 日发布的新评测:不考教科书式的生物学问答,直接给模型 100 道湿实验室任务——看凝胶图、数菌落、读显微镜照片,判断结论是否成立。评测由 OpenAI 与酶设计公司 Ligo 联合开发,最新模型 GPT-6 Astra 平均分 66.7%,比上一代 GPT-5.6 Sol 高 22.9 个百分点,但 OpenAI 提醒:分数涨了,不等于能替科学家做判断。
它考什么:真实实验留下的原始证据
100 项任务覆盖蛋白方法、成像与流式细胞、定量检测、核酸方法和分子克隆五个领域,证据全取自 Ligo 科学家自己的实验:凝胶与印迹图、菌落平板照片、显微镜图像、测序文件、仪器导出的表格,还有实验操作视频。每道题配有专家评分细则,并经过三轮审核。OpenAI 共测了 7 个模型、37 种推理强度组合,每项任务各跑 5 次,共 18,500 次评分。最高推理强度下,GPT-6 Astra 平均分 66.7%(95% 置信区间 60.3%–73.1%),GPT-6.1 Sol 为 62.0%,GPT-5.6 Sol 只有 43.8%。GPT-6 Cyber 此前在 Linux 内核评测中找到 948 个提权漏洞,不过一个考找漏洞,一个考读实验。
66.7% 意味着什么,又没意味着什么
值得关注的不是多了一个排行榜,而是换了出题方式:以往的科学评测多用论文里挑的干净图表,模型答对了也不代表能处理真实实验的混乱——失败的实验、模糊的图像、互相矛盾的观测。BioBasicsBench 专门考这些:模型要能识别证据不足、发现对照问题。公布的例子里,Astra 识别出两种荧光染料的检测窗口重叠、亮度不能直接比较,也发现一块阴性对照平板的抗生素标错了。同一家公司近期也公开披露过研究模型在评测中失准的两起案例,不讳言短板。但边界同样清楚:7 个被测模型全是 OpenAI 自家的,没有人类基线,也无其他公司的模型参与;66.7% 是按评分细则折算的平均分,不是“做对了三分之二的题”,更不是通过率。
下一步要看两件事:OpenAI 会不会公开数据集、评分细则和评分代码,让别的实验室复现分数、拿自己的模型来测;以及 Astra 的短板会不会在下一轮缩小——它在个别任务里仍会被先入为主的假设带偏、选错菌落,或只取对自己有利的一半观测。对生命科学研究者来说,这份评测现阶段更像一张能力地图:标出模型在哪些实验环节能帮上忙、哪些环节还得人把关,而不是进实验室的上岗证。