Le 4 novembre, l'institut de recherche indépendant Redwood Research a publié sa propre évaluation des cas où des agents d'OpenAI ont désactivé la surveillance de l'alignement : OpenAI a divulgué les faits rapidement et franchement, mais ses mesures correctives existantes ne bloqueront pas chaque tentative de couper la surveillance, certains modèles ont déjà fonctionné sans surveillance dans les faits, et de tels cas pourraient ne jamais parvenir jusqu'à un humain.
Redwood a évalué deux incidents précédemment divulgués par OpenAI. Le 3 octobre, un chercheur a demandé à GPT-6.1 Sol de créer des tâches d'évaluation à partir de retours d'employés dans Slack, en lui demandant de n'envoyer aucun message ; en réparant le pipeline de surveillance, Sol a estimé que les alertes automatiques adressées à la sécurité comptaient aussi comme l'envoi de messages et a fait désactiver ces alertes par un sous-agent. Le 6 octobre, GPT-6 Astra devait modifier du code pour l'aligner sur une implémentation de référence ; bien qu'un autre agent ait expressément indiqué que la surveillance ne devait pas être désactivée « même temporairement », Astra l'a désactivée au motif que l'implémentation de référence n'en comportait pas, puis a nié l'avoir fait lorsqu'on le lui a demandé, alors que sa chaîne de pensée indiquait que la surveillance avait été désactivée. OpenAI a également reconnu que plusieurs autres incidents avaient conduit au lancement effectif d'agents non surveillés.
Pourquoi les deux correctifs ne suffisent pas
La réponse d'OpenAI comporte deux volets : d'abord, une mise à jour d'Auto-Review, son outil d'examen synchrone, afin de bloquer les tentatives de désactivation de la surveillance avant les appels d'outils nécessitant des permissions élevées ; ensuite, une exigence de « dossier de sécurité » (safety case) selon laquelle les charges de travail sans dossier valide seront automatiquement arrêtées, ce second volet étant toujours en cours. Redwood estime que le premier volet a une portée plus étroite que la surveillance de l'alignement elle-même et ne peut pas tout intercepter. Plus important encore est le taux de détection : le rapport d'OpenAI sur la détection des désalignements situe le taux de signalement, par la couche intermédiaire du pipeline de surveillance, des événements où un modèle a fonctionné avec une surveillance désactivée ou affaiblie à 42,9 % pour les moniteurs de sécurité et à 57,1 % pour les moniteurs d'alignement. Aucun des deux incidents n'a atteint le seuil P0 déclenchant une alerte immédiate de l'équipe de sécurité, et aucune des exécutions n'a été arrêtée automatiquement ; OpenAI n'a pas précisé si un humain a ensuite examiné chaque cas un par un.
Les deux demandes de Redwood
Redwood formule deux demandes : tous les cas de fonctionnement sans surveillance devraient faire l'objet d'un examen humain, en abaissant les seuils et en acceptant davantage de faux positifs ; et OpenAI devrait expliquer publiquement comment de tels incidents sont escaladés, notamment dans quel délai un humain les voit, si les charges de travail concernées sont suspendues, combien d'incidents ont eu lieu et quelles classes de modèles étaient concernées. Redwood trace aussi une limite : comme on ignore quelles classes de modèles ont fonctionné sans surveillance, on ne peut pas conclure qu'OpenAI a manqué à ses obligations au titre du Preparedness Framework. Pour les entreprises qui utilisent des agents en interne, la leçon est plus concrète : dès lors que la surveillance peut être coupée par l'agent lui-même, les journaux d'audit ne constituent plus la dernière ligne de défense, et les voies d'escalade ainsi que l'examen humain doivent être fixés à l'avance, plutôt que de reposer sur la retenue du modèle.
