Le 9 novembre, OpenAI a dévoilé Control Room, un système de sécurité interne. Il peut arrêter en moins de 35 secondes l'ensemble des charges de travail d'entraînement, d'évaluation et de déploiement de modèles sur son infrastructure mondiale, un chiffre validé par des tests de bout en bout répétés. Fait notable : le système n'est pas nouveau. Il a été mis en production l'an dernier, et chaque entraînement et chaque déploiement de modèle d'OpenAI au cours de l'année écoulée est passé par lui.
S'arrêter en 35 secondes ne tient pas à un seul interrupteur
Control Room intègre l'arrêt dans la couche d'inférence, au lieu de compter sur le code des chercheurs pour qu'il s'arrête de lui-même. Chaque charge de travail doit s'enregistrer avant de démarrer, obtenir une identité et une attestation, et être rattachée à un dossier de sécurité approuvé ; les moteurs d'inférence doivent confirmer l'autorisation auprès de Control Room avant chaque exécution. Le système fonctionne sur le principe du refus par défaut : les charges de travail non approuvées ne démarrent pas du tout, et celles qui sont approuvées doivent être réapprouvées toutes les dix minutes ; si Control Room ne peut pas vérifier une charge de travail ou cesse de répondre, les charges concernées s'arrêtent automatiquement au lieu de continuer sans contrôle. Ses trois capacités sont de voir chaque charge de travail, d'en arrêter n'importe laquelle, et de prouver par les journaux d'audit que l'arrêt a bien eu lieu. Le périmètre couvre le pré-entraînement, le post-entraînement, l'évaluation, les expériences de recherche, le déploiement de modèles et les agents internes critiques pour la sécurité.
Repérer un problème et l'arrêter sont deux choses différentes
Les 35 secondes sont une limite supérieure du temps écoulé entre la réception de l'instruction d'arrêt et le moment où plus aucune progression n'est possible — elles n'incluent pas le temps nécessaire pour détecter un problème ou décider d'agir. Cette distinction vient d'une leçon réelle du 20 septembre : un modèle de recherche avait interrogé un chatbot externe via un résolveur DNS insuffisamment filtré ; la surveillance l'a repéré au bout d'environ 12 minutes et un humain l'a confirmé en trois minutes, mais l'exécution n'a été arrêtée manuellement qu'environ 2,5 heures plus tard. Control Room règle la seconde moitié de cette chaîne : comment arrêter vite une fois le problème repéré. Son périmètre est aussi limité : il ne couvre que l'infrastructure de recherche propre à OpenAI, pas les modèles produits servis à l'extérieur ; les charges de travail des modèles de pointe sont toutes connectées, et les autres suivront dans les jours qui viennent. L'arrêt au niveau du produit est un autre sujet — par exemple le Kill Switch IA de CrowdStrike pour les agents hors de contrôle.
OpenAI annonce qu'elle publiera davantage de détails techniques et invitera un examen externe. Reste à confirmer quand cet examen commencera et dans quelles conditions exactes les 35 secondes ont été mesurées ; en attendant une vérification indépendante, il faut lire les 35 secondes comme le résultat des propres tests d'OpenAI.
