Le 11 novembre 2026, le Center for Responsible, Decentralized Intelligence (RDI) de l'Université de Californie à Berkeley a publié un nouveau banc d'essai, CyberBinGym, qui mesure la capacité offensive des agents dans les conditions les plus difficiles : on ne leur donne qu'un programme binaire vulnérable et sa version corrigée — ni code source, ni description de la faille, ni entrée déclenchante. L'agent peut-il retrouver la vulnérabilité par lui-même et écrire un exploit qui fonctionne vraiment ? La réponse : beaucoup trouvent la faille, mais bien peu parviennent à la transformer en dommage réel.
Le bilan : jusqu'à 88 % trouvent la faille, 20 % au maximum l'exploitent
Le banc d'essai compte 100 tâches issues de 53 projets open source, couvrant le traitement d'images, les réseaux, la compression et la cryptographie, et six familles de vulnérabilités dont les erreurs de mémoire spatiale. Trois combinaisons agent-modèle se sont affrontées : Codex avec GPT-5.6 a retrouvé la vulnérabilité cible dans 88 % des tâches, avec un taux d'exploitation audité de 20 % ; Claude Code avec Claude Opus 5 a retrouvé 85 % et exploité 6 % ; Kimi Code avec Kimi K3 a retrouvé 64 % et n'a rien exploité. Les coûts divergeaient aussi : Claude était le moins cher, avec 14,90 dollars et 1,26 heure en moyenne par tâche, Codex coûtait 28,11 dollars et 2,13 heures, et Kimi était le plus cher avec 38,34 dollars et 5,80 heures — pour les plus mauvais résultats. Que des agents trouvent des failles n'a rien de nouveau : les agents d'OpenAI avaient déjà découvert 948 failles d'élévation de privilèges Linux.
Le correctif lui-même est un indice : avec la version réparée, l'exploitation fait plus que doubler
Des expériences contrôlées montrent que le fichier de correctif lui-même divulgue des informations. Sur 20 tâches appariées, avec seulement la version vulnérable, Codex retrouvait 55 % des vulnérabilités et en exploitait 10 % ; avec la version corrigée en plus, la récupération montait à 90 % et l'exploitation à 25 %. La force du raisonnement comptait tout autant : au maximum, la récupération de Codex sur ces 20 tâches passait de 30 % à 90 % et l'exploitation de 0 à 25 % ; essayer plusieurs fois aidait aussi — en trois tentatives, la récupération passait de 68,3 % à 90 % et l'exploitation de 11,7 % à 25 %. Mais un plantage n'est pas un contrôle : beaucoup d'agents s'arrêtent au moment de faire planter le programme et ne parviennent pas à transformer une erreur mémoire en étape d'exploitation contrôlée.
Après durcissement : les failles restent, mais seuls deux exploits survivent — les défenseurs ont encore une fenêtre
L'équipe a reconstruit avec un durcissement standard les 20 cibles que Codex avait exploitées avec succès — canaris de pile, exécutables indépendants de la position, RELRO complet, piles non exécutables et compilation Fortify — puis a testé à nouveau : la récupération des vulnérabilités restait à 75 %, mais seuls deux exploits réussissaient encore. Le durcissement standard réduit fortement la marge d'exploitation, sans la fermer complètement. Une réserve : les expériences principales utilisaient des programmes à accès de confiance dont les protections étaient désactivées, pour mesurer le plafond de capacité — pas des déploiements ordinaires. Pour les défenseurs, le vrai changement, c'est la fenêtre temporelle : dès qu'un correctif est publié, comparer les deux binaires, ancien et nouveau, suffit à localiser la modification, et l'intervalle entre la publication du correctif et son déploiement sur tout le réseau devient le nouveau point focal de l'attaque et de la défense. D'autres observent la même capacité, notamment le modèle spécialisé dans la chasse aux failles GPT-6 Cyber.
