Ai2 は 2026 年 10 月 27 日、「AI が研究アイデアの新規性をどう判断するか」に関する研究を発表し、評価ベンチマーク、データ、コード、そして評価セットを自動で作るパイプラインを同時に公開した。結論は手厳しい。大規模言語モデルは新規性の審査員として信頼できない。プロンプトを数語変えるだけで、同じアイデアへの判定がひっくり返る。
ベンチマークの作り方が、この研究の信頼性を支えている。チームは「論文が採択された」ことを新規性の同義語としなかった。代わりに ICLR 2026 の査読コメントを掘り起こし、査読者が独創性について明確に論じた箇所を探した。新規性の高いグループは 154 のアイデアで、分野別評価の上位 10% に入り採択された論文由来であり、査読者の大半が独創性を評価し、反論はなかった。低いグループは 145 のアイデアで、下位 10% の不採択論文由来であり、査読者が独創性に疑問を呈し、評価はなかった。抜き取り検査では、注釈者は 50 例中 47 例で抽出された新規性シグナルに同意した。第二の比較では、154 の人間のアイデアを、文献検索も反復もしない単純な生成器のアイデアと組み合わせた。チームは後者のラベルが弱いラベルであり、一つひとつ検証していないことを率直に認めている。
際立っているのは、プロンプトが判定をどれだけ動かすかだ。GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5、Claude Opus 4.6 の 6 つの審査員をテストした。同じペアで、わずか数語を変えるだけ——一方は「査読者はどちらか一方が新規だと認めた。どれか示せ」と伝え、もう一方は「どちらが新規か」とだけ尋ねる——GPT-5.4 の正答率は 93.5% から 40.9% へ落ち、偶然以下になり、半数以上のペアで判定が反転した。人間のアイデア同士の比較も無傷ではなかった。同じ変更で Claude Opus 4.6 の正答率は 21 ポイント動いた。しかも、すべてのモデルに最良のプロンプトはなく、あるモデルを助ける表現が別のモデルを損なうこともあった。
計算量を増やしても結果は救われなかった。GPT-5.6 Sol に非常に高い推論予算とリアルタイム検索を与えても、macro-F1 は 0.78 にとどまり、Claude Opus 4.6 を 11 ポイント下回り、1 件あたりのコストは約 10 倍だった。専用に作られた 2 つのシステムはさらに悪かった。Idea Novelty Checker は 0.642 で 30.66 ドル、Sakana AI の AI Scientist 評価器は 0.772 で 82.05 ドルだったのに対し、単純な Claude Opus 4.6 のプロンプトベースラインは 3 回投票で 0.854 を記録し、費用はわずか 2.59 ドルだった。最も高価な手法は、正確でも安定してもいなかった。
論文を読む人にとっての意味
この研究が狙っているのは「AI に科学ができるか」ではない。自動アイデア生成の論文によくある一文、「LLM の審査員がそう言うのだから、我々のシステムはより新規だ」である。審査員自身がプロンプトでひっくり返るなら、そのような新規性スコアを証拠として扱うのは難しい。Ai2 の助言は具体的だ。新規性は、モデルが実際に評価される対象、すなわち AI が生成したアイデアで測ること。人間の論文だけで検証しないこと。プロンプトとモデルを横断して感度を報告すること。ベンチマークを文献とともに成長させること。論文の arXiv 第 2 版は 10 月 14 日に公開された。10 月 27 日の発表で新しいのは、ベンチマークとパイプラインが完全に公開されたことだ。自動研究ワークフローを作るチームにとって、これは時宜を得た注意喚起である。「新しいことをどう証明するか」をまず固めてから、システムがどれだけ考えられるかを語るべきだ。
