Am 27. Oktober 2026 hat Ai2 eine Studie darüber veröffentlicht, wie zuverlässig KI beurteilen kann, ob eine Forschungsidee neu ist – zusammen mit einem Benchmark, Daten, Code und einer automatisierten Pipeline zum Erstellen neuer Evaluationssätze. Das Fazit ist deutlich: Große Sprachmodelle sind keine verlässlichen Neuheitsrichter – ändert man ein paar Wörter im Prompt, können sich die Urteile über dieselben Ideen umkehren.
Wie der Benchmark aufgebaut wurde, macht die Studie glaubwürdig. Das Team behandelte „ein Paper wurde akzeptiert“ nicht als Synonym für Neuheit. Stattdessen durchsuchte es die Peer Reviews der ICLR 2026 nach Passagen, in denen Gutachter Originalität ausdrücklich erörterten. Die Gruppe mit hoher Neuheit umfasst 154 Ideen aus akzeptierten Papieren in den oberen 10 % ihres Fachgebiets, bei denen die meisten Gutachter Originalität lobten und niemand widersprach; die niedrige Gruppe umfasst 145 Ideen aus abgelehnten Papieren in den unteren 10 %, bei denen Gutachter Originalität infrage stellten und niemand sie lobte. In einer Stichprobe stimmten Annotatoren in 47 von 50 Fällen mit dem extrahierten Neuheitssignal überein. Ein zweiter Vergleich paarte die 154 menschlichen Ideen mit Ideen eines einfachen Generators, der weder Literatur suchte noch iterierte; das Team räumt offen ein, dass Letztere schwache Labels tragen, die nicht einzeln geprüft wurden.
Auffällig ist, wie stark der Prompt das Urteil bewegt. Getestet wurden sechs Richter: GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 und Claude Opus 4.6. Bei denselben Paaren genügte es, wenige Wörter zu ändern – eine Version sagte dem Modell: „Die Gutachter haben eine der Ideen für neu befunden, sag, welche“, die andere fragte nur: „Welche Idee ist neu“ –, und die Genauigkeit von GPT-5.4 fiel von 93,5 % auf 40,9 %, unter Zufallsniveau, wobei sich das Urteil bei mehr als der Hälfte der Paare umkehrte. Auch Vergleiche zwischen menschlichen Ideen blieben nicht verschont: Dieselbe Änderung verschob die Genauigkeit von Claude Opus 4.6 um 21 Prozentpunkte. Und kein Prompt war für alle Modelle der beste; was einem Modell half, konnte einem anderen schaden.
Mehr Rechenleistung rettete die Ergebnisse nicht. GPT-5.6 Sol erhielt ein besonders hohes Reasoning-Budget und Live-Recherche, erreichte aber nur einen Macro-F1 von 0,78, 11 Punkte hinter Claude Opus 4.6, bei rund zehnfachen Kosten pro Entscheidung. Zwei eigens gebaute Systeme schnitten schlechter ab: Idea Novelty Checker erreichte 0,642 bei 30,66 US-Dollar, Sakana AIs AI-Scientist-Evaluator 0,772 bei 82,05 US-Dollar, während eine einfache Claude-Opus-4.6-Prompt-Baseline mit drei Abstimmungen 0,854 für nur 2,59 US-Dollar erreichte. Der teuerste Ansatz war weder genauer noch stabiler.
Was das für Menschen bedeutet, die Paper lesen
Ziel der Studie ist nicht die Frage, „ob KI Wissenschaft betreiben kann“, sondern ein Satz, der in Papieren zu automatisierten Ideensystemen häufig vorkommt: „Unser System ist neuartiger, weil der LLM-Richter das sagt.“ Wenn der Richter selbst mit dem Prompt kippt, lassen sich solche Neuheitswerte kaum als Beleg verwenden. Ai2s Rat ist konkret: Neuheit sollte an dem gemessen werden, was Modelle tatsächlich beurteilen werden – also an KI-generierten Ideen, nicht nur an menschlichen Papieren; Sensitivität sollte über Prompts und Modelle hinweg berichtet werden; und Benchmarks sollten mit der Literatur wachsen. Die zweite arXiv-Version des Papers erschien am 14. Oktober; neu an der Veröffentlichung vom 27. Oktober ist, dass Benchmark und Pipeline vollständig öffentlich sind. Für Teams, die automatisierte Forschungsworkflows bauen, kommt die Erinnerung zur rechten Zeit: Erst muss „wie man beweist, dass etwas neu ist“ solide sein, dann kann man darüber sprechen, wie gut das System denkt.
