Ai2 在 2026 年 10 月 27 日发布了一项关于“AI 怎么判断研究想法是否新颖”的研究，同时公开评测集、数据、代码和自动搭建评测集的流水线。结论是：大模型当新颖性裁判并不可靠，换几个提示词，裁决就可能翻盘。
评测集的搭建方式是这项研究可信的起点。团队没把“被接收”当新颖的代名词，而是挖掘 ICLR 2026 同行评议，找评审明确谈原创性的段落。高新颖性组 154 个想法，来自领域前 10% 的接收论文，评审肯定原创、无人反驳；低组 145 个，来自后 10% 的被拒论文，评审质疑原创、无人肯定。抽查中，标注员 50 例里 47 例与提取信号一致。第二组对照把 154 个人类想法与简单生成器产出的想法配对，团队坦言后者是弱标签，未逐个核实。
真正扎眼的是提示词带来的波动。测试覆盖 GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5、Claude Opus 4.6 六个裁判。同一批配对，只改几处措辞：一版说“评审已认定其一新颖，请指出”，另一版只问“哪个新颖”——GPT-5.4 的准确率就从 93.5% 跌到 40.9%，低于随机猜测，超过一半配对的裁决被翻转。人类想法对照也一样：同一改动让 Claude Opus 4.6 准确率移动 21 个百分点。而且没有哪种提示词对所有模型都更好，帮了一个模型、可能就拖累了另一个。
堆更多算力也没有把结果救回来。GPT-5.6 Sol 加超高推理预算和实时检索后，macro-F1 为 0.78，比 Claude Opus 4.6 低 11 个百分点，成本却高约 10 倍。两个专用系统更差：Idea Novelty Checker 得 0.642，花费 30.66 美元；Sakana AI 的 AI Scientist 评估器得 0.772，花费 82.05 美元；简单的 Claude Opus 4.6 基线三次投票拿 0.854，只花 2.59 美元。最贵的做法既不更准、也不更稳。
这对读论文的人意味着什么
这项研究针对的不是“AI 能不能搞科研”，而是论文里常见的一句：“系统更新颖，因为 LLM 裁判这么说。”裁判随提示词翻盘，这类得分就难当证据。Ai2 建议：在 AI 生成的想法上评新颖性，而非只在人类论文上验证；跨提示词、跨模型报告敏感度；评测集随文献生长。论文第二版发表于 10 月 14 日，本次发布的新意是评测集和流水线全部公开。对搭建自动科研流程的团队，提醒很及时：先把“怎么证明它新”测结实，再谈系统多会想。
