ReviewBench est le nouvel examen hors ligne de GitHub pour les agents de revue de code par IA. Le 5 octobre 2026, GitHub a publié ce benchmark ouvert sur son blog officiel : après avoir analysé la distribution de 103,9 millions de vraies pull requests, il a sélectionné 219 PR publiques issues de 187 dépôts open source et couvrant 19 langages, afin que différents agents de revue de code puissent être comparés sous un même jeu de référence et une même grille de notation — qui oublie le moins, qui crie le moins au loup, qui attrape les problèmes critiques. ReviewBench est en research preview, le jeu de données complet est public, et chaque équipe peut y soumettre son propre agent de revue et déposer ses résultats.
Le jeu de référence n'a pas été décidé par un seul relecteur
La revue de code est difficile à évaluer parce que la référence elle-même est disputée : sur une même PR, les relecteurs humains, les outils d'analyse statique et les différents grands modèles trouvent chacun un ensemble différent de problèmes, et exclure l'un de ces points de vue biaise l'examen en faveur d'un type de relecteur. ReviewBench construit donc son jeu de référence à partir de sources multiples : les signalements candidats proviennent de vrais commentaires de revue humains, de problèmes déduits des commits de suivi des auteurs, d'outils d'analyse déterministes et de plusieurs LLM de pointe. Les signalements qui se recoupent sont dédupliqués sémantiquement, puis jugés selon une grille unique et publiée — un signalement ne compte que s'il est vrai, pertinent et non trivial, quelle que soit sa source. Claude Sonnet 5 joue le rôle de juge, et la grille comme la configuration du juge sont publiques. Chaque signalement est étiqueté par gravité (critique, moyenne, faible) et par catégorie (exactitude, sécurité, fiabilité, maintenabilité, tests, etc.). Avant la publication, des ingénieurs seniors n'ayant pas participé à la construction ont réétiqueté indépendamment chaque signalement de référence, avec un taux d'accord de 96,6 % avec le benchmark.
De nouveaux indicateurs laissent une place aux découvertes hors corrigé
Un benchmark classique mesure précision et rappel par rapport à un corrigé fixe, si bien qu'un relecteur qui trouve un vrai problème absent du corrigé se voit pénalisé. ReviewBench publie donc deux familles d'indicateurs : l'une, strictement ancrée dans le jeu de référence, pour des comparaisons à armes égales ; l'autre, augmentée, où le juge décide indépendamment si les nouvelles découvertes sans correspondance sont vraies ou fausses, afin de créditer les vraies trouvailles. Les résultats peuvent aussi être découpés par gravité et par catégorie, et le poids Fβ peut être réglé entre « ne rien manquer, surtout pas les problèmes critiques » et « limiter le bruit », le classement se réordonnant en conséquence — car en matière de revue de code, aucune préférence unique ne convient à toutes les équipes.
Les scores hors ligne peuvent-ils prédire la production ? GitHub l'a testé sur lui-même
Le benchmark a d'abord servi en interne à améliorer la revue de code de Copilot, et l'article en donne une étude de cas complète : dans une expérience de revue par ensemble multi-modèles, ReviewBench a prédit une précision, un rappel et un volume de commentaires en hausse, pour un coût par revue en baisse. Le test A/B en ligne qui a suivi est allé dans le même sens — la part des commentaires que les développeurs ont effectivement traités a augmenté de 8,0 %, le rappel de 13,6 %, le volume de commentaires de 61 %, et le coût par revue a reculé de 8,0 %. Pour les commentaires critiques, la prédiction hors ligne était de +227 % contre +262 % en ligne, et même la distribution des gravités concordait.
La voie de soumission pour les équipes extérieures est ouverte : se connecter avec un compte GitHub sur le site de ReviewBench, enregistrer l'image de conteneur, la configuration et sa propre clé de modèle de l'agent, régler sur un jeu de test de 25 PR, puis passer l'ensemble complet des 219 PR en trois rounds ; les scores n'atteignent le classement qu'après examen par les mainteneurs, et ne remplacent un résultat existant que s'ils l'améliorent. La revue de code par IA devient un élément par défaut du flux de développement — de l'itération rapide de Codex à la foule des robots de revue — mais ce qui manquait au secteur, c'était une règle publique, commune, et capable de distinguer les gravités. ReviewBench publie la grille, les données et l'examen lui-même ; reste à voir quels grands outils de revue oseront afficher leurs notes.
