ToolNavs Outils IA à découvrir
Proposer Connexion
Retour à Informations sur l’IA
Comment l'équipe Claude Code vérifie son travail : 90 % du code écrit par l'IA, et ce qui l'empêche de casser

Comment l'équipe Claude Code vérifie son travail : 90 % du code écrit par l'IA, et ce qui l'empêche de casser

Informations sur l’IA • Admin • • 43 vues

Le 16 novembre, l'équipe Claude Code d'Anthropic a publié sa méthode interne de vérification : environ 90 % du code de l'équipe est écrit et relu par Claude. L'astuce n'est pas de faire vérifier chaque ligne par un humain, mais de mettre en place une boucle de vérification qui permet aux agents de prouver eux-mêmes, preuves à l'appui, que leurs modifications sont correctes. Le message de l'équipe est direct : sans boucle de vérification, on ne peut faire tourner qu'un ou deux Claude à la fois ; avec elle, on peut en faire tourner des dizaines, voire des centaines, en parallèle.

Trois types de tests : lequel l'équipe valorise-t-elle le plus ?

L'équipe juge trois types de tests particulièrement dignes d'investissement. Les tests de bout en bout arrivent en tête : ils reproduisent de vrais parcours utilisateurs, donc une fonctionnalité fonctionne entièrement ou échoue — ils sont difficiles à tromper et indiquent précisément quelle étape a cassé. Les tests de propriétés ciblent les cas limites que les humains manquent souvent : on écrit une affirmation que l'on croit impossible à réfuter, puis on laisse une bibliothèque de tests générer des milliers d'entrées pour tenter de la réfuter. L'encodage aller-retour, « un solde de compte ne peut jamais devenir négatif » et l'idempotence entrent dans cette catégorie. Les tests différentiels conviennent aux grandes migrations : on soumet les mêmes entrées aux anciens et aux nouveaux systèmes, et toute différence signale un bug ou un changement cassant. Les entrées doivent être générées aléatoirement ou tirées du trafic réel de production.

Des règles pour empêcher de tromper la vérification elle-même

On peut écrire des tests, et on peut aussi contourner la vérification — l'équipe a donc posé quelques règles strictes. Les règles de relecture figurent dans REVIEW.md et ne sont lues que depuis la branche principale, de sorte qu'une modification ne peut jamais toucher le standard qui la juge. Un contrôle en échec n'a droit qu'à trois tentatives de correction avant qu'un humain soit appelé. Chaque commit est estampillé de sa méthode de vérification, y compris « aucune », ce qui permet de retrouver ensuite le travail non vérifié. Un nouveau portail de commit démarre en mode observation, consigne ce qui aurait été bloqué, et ne passe en mode application que lorsque les faux positifs semblent gérables. L'équipe entretient aussi une liste de fiabilité de 39 points, chacun déclenché par un élément lisible dans un diff : seuls les quelques points concernés sont vérifiés, nul besoin de mémoriser les incidents passés.

Cette méthode n'appartient pas qu'à Anthropic. En test interne, ajouter un correcteur indépendant qui notait la génération de fichiers structurés selon une grille a amélioré le taux de réussite des tâches de jusqu'à 10 points. OpenAI vient d'inviter quatre organismes d'évaluation externes à inspecter l'alignement des modèles directement dans ses laboratoires — le même réflexe : la vérification ne peut pas reposer sur sa seule parole. Les équipes ordinaires peuvent copier trois choses : écrire une compétence de vérification pour le dépôt, afin que Claude fasse vraiment tourner l'application avant de commiter ; s'arrêter après trois échecs et appeler un humain ; et transformer chaque bug passé entre les mailles en une nouvelle règle, en élaguant régulièrement les règles périmées. La couche de vérification elle-même doit être entretenue comme n'importe quel système — sinon elle devient vite un décor.

Outils Recommandés

Plus