Am 16. November hat das Claude-Code-Team von Anthropic seinen internen Ansatz zur Verifikation veröffentlicht: Rund 90 Prozent des Codes des Teams werden von Claude geschrieben und geprüft. Der Trick besteht nicht darin, dass Menschen jede Zeile kontrollieren, sondern in einer Verifikationsschleife, die Agenten ihre eigenen Änderungen mit Belegen beweisen lässt. Die Botschaft des Teams ist deutlich: Ohne Verifikationsschleifen kann man nur ein oder zwei Claudes gleichzeitig laufen lassen; mit ihnen lassen sich Dutzende oder Hunderte parallel betreiben.
Drei Arten von Tests – welche schätzt das Team am meisten?
Drei Arten von Tests hält das Team für am lohnendsten. End-to-End-Tests stehen an erster Stelle: Sie bilden echte Nutzerabläufe ab, sodass ein Feature entweder vollständig funktioniert oder fehlschlägt – sie lassen sich kaum täuschen und zeigen genau, welcher Schritt gebrochen ist. Property-Tests zielen auf die Randfälle, die Menschen gern übersehen: Man schreibt eine Aussage, die man für unumstößlich hält, und lässt eine Testbibliothek Tausende Eingaben erzeugen, die sie zu widerlegen versuchen. Round-Trip-Kodierung, 'ein Kontostand kann niemals negativ werden' und Idempotenz gehören hierher. Differential-Tests eignen sich für große Migrationen: Altes und neues System erhalten dieselben Eingaben, und jede Abweichung bedeutet einen Bug oder eine brechende Änderung. Die Eingaben sollten zufällig erzeugt oder aus echtem Produktionstraffic stammen.
Regeln, die die Verifikation selbst ehrlich halten
Tests lassen sich schreiben, und Verifikation lässt sich austricksen – deshalb hat das Team ein paar harte Regeln aufgestellt. Die Prüfregeln stehen in der REVIEW.md und werden nur aus dem Hauptbranch gelesen, sodass eine Änderung niemals den Maßstab anfassen kann, der sie beurteilt. Eine fehlschlagende Prüfung bekommt höchstens drei Reparaturrunden, danach wird ein Mensch hinzugezogen. Jeder Commit wird mit der Art seiner Verifikation gestempelt, einschließlich 'keine', damit sich ungeprüfte Arbeit später abfragen lässt. Ein neues Commit-Gate startet im Beobachtungsmodus, protokolliert, was blockiert worden wäre, und wechselt erst in den Erzwingungsmodus, wenn die Fehlalarme beherrschbar wirken. Außerdem pflegt das Team eine Zuverlässigkeits-Checkliste mit 39 Punkten, von denen jeder durch etwas ausgelöst wird, das sich aus einem Diff ablesen lässt – geprüft werden nur die wenigen zutreffenden Punkte, niemand muss sich vergangene Ausfälle merken.
Dieser Ansatz gehört nicht nur Anthropic. In internen Tests verbesserte ein unabhängiger Bewerter, der strukturierte Dateigenerierung anhand einer Rubrik benotete, den Aufgabenerfolg um bis zu 10 Punkte. OpenAI hat gerade erst vier externe Bewertungsinstitute eingeladen, die Modellausrichtung direkt in seinen Laboren zu prüfen – derselbe Gedanke: Verifikation kann nicht allein auf dem eigenen Wort beruhen. Gewöhnliche Teams können drei Dinge übernehmen: eine Verify-Skill für das Repository schreiben, damit Claude die App vor dem Commit tatsächlich laufen lässt; nach drei Fehlschlägen anhalten und einen Menschen holen; und jeden Bug, der durchgerutscht ist, in eine neue Regel verwandeln, während veraltete Regeln regelmäßig aussortiert werden. Die Verifikationsschicht selbst muss wie jedes System gepflegt werden – sonst wird sie bald zur Dekoration.