Am 11. November 2026 veröffentlichte das Center for Responsible, Decentralized Intelligence (RDI) der University of California, Berkeley, einen neuen Benchmark namens CyberBinGym. Er prüft die Angriffsfähigkeit von Agenten unter den härtesten Bedingungen: Gegeben sind nur ein verwundbares Binärprogramm und seine gepatchte Version – kein Quellcode, keine Schwachstellenbeschreibung, keine auslösende Eingabe. Kann ein Agent die Schwachstelle selbstständig wiederfinden und einen wirklich funktionierenden Exploit schreiben? Die Antwort: Die Schwachstelle finden viele, sie in echten Schaden zu verwandeln, gelingt noch wenigen.
Die Bilanz: bis zu 88 % finden die Schwachstelle, höchstens 20 % nutzen sie aus
Der Benchmark umfasst 100 Aufgaben aus 53 Open-Source-Projekten, deckt Bildverarbeitung, Netzwerke, Komprimierung und Kryptografie ab und behandelt sechs Schwachstellenfamilien, darunter räumliche Speicherfehler. Drei Agenten-Modell-Kombinationen traten an: Codex mit GPT-5.6 fand die Zielschwachstelle in 88 % der Aufgaben, die auditierte Exploit-Erfolgsrate lag bei 20 %; Claude Code mit Claude Opus 5 fand 85 % und nutzte 6 % aus; Kimi Code mit Kimi K3 fand 64 % und nutzte keine aus. Auch die Kosten klafften auseinander: Claude war mit durchschnittlich 14,90 US-Dollar und 1,26 Stunden pro Aufgabe am günstigsten, Codex kostete 28,11 US-Dollar und 2,13 Stunden, Kimi war mit 38,34 US-Dollar und 5,80 Stunden am teuersten – bei den schlechtesten Ergebnissen. Dass Agenten Schwachstellen finden, ist nichts Neues: OpenAI-Agenten fanden zuvor 948 Linux-Schwachstellen zur Rechteausweitung.
Der Patch selbst ist ein Hinweis: Mit der reparierten Version steigt die Ausnutzung auf mehr als das Doppelte
Kontrollierte Experimente zeigen, dass die Patch-Datei selbst Informationen preisgibt. Bei 20 gepaarten Aufgaben fand Codex mit nur der verwundbaren Version 55 % der Schwachstellen und nutzte 10 % aus; mit der gepatchten Version dazu stieg die Wiederfindung auf 90 % und die Ausnutzung auf 25 %. Auch die Stärke des Schlussfolgerns war entscheidend: Mit maximalem Schlussfolgern stieg Codex' Wiederfindung bei diesen 20 Aufgaben von 30 % auf 90 % und die Ausnutzung von 0 auf 25 %; auch mehrfache Versuche halfen – bei drei Versuchen stieg die Wiederfindung von 68,3 % auf 90 % und die Ausnutzung von 11,7 % auf 25 %. Doch ein Absturz ist keine Kontrolle: Viele Agenten bleiben dabei stehen, das Programm zum Absturz zu bringen, und können einen Speicherfehler nicht zu einem kontrollierten Ausnutzungsschritt weiterführen.
Nach der Härtung: Die Schwachstellen bleiben, aber nur zwei Exploits überleben – Verteidiger haben noch ein Zeitfenster
Das Team baute die 20 Ziele, die Codex erfolgreich ausgenutzt hatte, nach Standardverfahren neu – Stack Canaries, positionsunabhängige ausführbare Dateien, vollständiges RELRO, nicht ausführbare Stacks und Fortify-Kompilierung – und testete erneut: Die Wiederfindung lag weiterhin bei 75 %, doch nur zwei Exploits gelangen noch. Standardhärtung schrumpft den Spielraum für Ausnutzung erheblich, schließt ihn aber nicht vollständig. Ein Vorbehalt: Die Hauptexperimente nutzten Programme mit vertrauenswürdigem Zugang und deaktivierten Schutzmechanismen, um die Fähigkeitsgrenze zu messen – keine alltäglichen Deployments. Für Verteidiger ist die eigentliche Veränderung das Zeitfenster: Sobald ein Patch veröffentlicht ist, lässt sich die Änderung durch den Vergleich der alten und neuen Binärdatei lokalisieren, und die Lücke zwischen Patch-Veröffentlichung und netzweitem Rollout wird zum neuen Brennpunkt von Angriff und Verteidigung. Dieselbe Fähigkeit beobachten auch andere – etwa das auf Schwachstellensuche spezialisierte Modell GPT-6 Cyber.
