Le 27 octobre 2026, Ai2 a publié une étude sur la fiabilité avec laquelle l'IA peut juger si une idée de recherche est nouvelle, accompagnée d'un banc d'essai, de données, de code et d'un pipeline automatisé pour construire de nouveaux ensembles d'évaluation. La conclusion est sans détour : les grands modèles de langage ne sont pas des juges de nouveauté fiables — changer quelques mots dans le prompt peut renverser les verdicts portés sur les mêmes idées.
La façon dont le banc d'essai a été construit fait la crédibilité de l'étude. L'équipe n'a pas traité « un article a été accepté » comme un synonyme de nouveauté. Elle a fouillé les évaluations par les pairs d'ICLR 2026 pour y trouver les passages où les relecteurs discutaient explicitement de l'originalité. Le groupe à forte nouveauté comprend 154 idées tirées d'articles acceptés situés dans les 10 % supérieurs de leur domaine, où la plupart des relecteurs saluaient l'originalité et où personne ne la contestait ; le groupe faible en comprend 145, tirées d'articles rejetés situés dans les 10 % inférieurs, où les relecteurs mettaient en doute l'originalité et où personne ne la saluait. Dans un contrôle par échantillon, les annotateurs étaient d'accord avec le signal de nouveauté extrait dans 47 cas sur 50. Une seconde comparaison appariait les 154 idées humaines avec celles d'un générateur simple qui ne cherchait pas dans la littérature et n'itérait pas ; l'équipe reconnaît franchement que ces dernières portent des étiquettes faibles, non vérifiées une par une.
Ce qui frappe, c'est l'ampleur avec laquelle le prompt déplace le verdict. Six juges ont été testés : GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 et Claude Opus 4.6. Sur les mêmes paires, il a suffi de changer quelques mots — une version disait au modèle : « les relecteurs ont jugé l'une des idées nouvelle, dis laquelle », l'autre demandait seulement : « quelle idée est nouvelle » — pour que la précision de GPT-5.4 chute de 93,5 % à 40,9 %, sous le hasard, en renversant le verdict de plus de la moitié des paires. Les comparaisons entre idées humaines n'ont pas été épargnées non plus : le même changement a déplacé la précision de Claude Opus 4.6 de 21 points de pourcentage. Et aucun prompt n'était le meilleur pour tous les modèles ; aider un modèle pouvait en desservir un autre.
Ajouter de la puissance de calcul n'a pas sauvé les résultats. Doté d'un budget de raisonnement très élevé et d'une recherche en direct, GPT-5.6 Sol n'a atteint qu'un macro-F1 de 0,78, soit 11 points derrière Claude Opus 4.6, pour un coût par décision environ 10 fois supérieur. Deux systèmes spécialement construits ont fait pire : Idea Novelty Checker a obtenu 0,642 pour 30,66 dollars, et l'évaluateur AI Scientist de Sakana AI 0,772 pour 82,05 dollars, tandis qu'une simple base de référence par prompt avec Claude Opus 4.6, à trois votes, atteignait 0,854 pour seulement 2,59 dollars. L'approche la plus chère n'était ni plus précise ni plus stable.
Ce que cela signifie pour celles et ceux qui lisent des articles
La cible de l'étude n'est pas la question « l'IA peut-elle faire de la science ? », mais une phrase fréquente dans les articles sur les systèmes d'idéation automatisés : « notre système est plus nouveau, parce que le juge LLM le dit ». Si le juge lui-même bascule avec le prompt, de tels scores de nouveauté sont difficiles à traiter comme des preuves. Le conseil d'Ai2 est précis : évaluer la nouveauté sur ce que les modèles seront réellement amenés à juger — des idées générées par l'IA, et pas seulement des articles humains ; rendre compte de la sensibilité d'un prompt et d'un modèle à l'autre ; et faire grandir les bancs d'essai avec la littérature. La deuxième version arXiv de l'article est parue le 14 octobre ; la nouveauté de la publication du 27 octobre est que le banc d'essai et le pipeline sont entièrement publics. Pour les équipes qui construisent des flux de recherche automatisés, le rappel arrive à point nommé : il faut d'abord consolider « comment prouver que c'est nouveau », avant de parler de la qualité de raisonnement du système.
