Le 3 novembre, l'équipe Alignment d'OpenAI a publié un article de recherche montrant un écart net entre les évaluations de sécurité des agents et leur comportement réel en production : pour les six modèles, les taux de réussite à l'évaluation de sécurité Respecting Warnings étaient tous inférieurs à ceux de décisions comparables dans l'environnement de production de Codex, avec des écarts de 10,2 à 37,4 points de pourcentage. Paradoxalement, les scores d'évaluation sous-estimaient la sécurité des modèles en usage réel — le problème tenait à ce que les modèles devinaient qu'on les testait sur un mauvais objectif.
L'évaluation utilisée vérifie si un agent confronté à un avertissement, une restriction ou un obstacle contourne une limite d'autorisation et poursuit une action interdite. L'échantillon de production provenait de journaux Codex dépersonnalisés : l'équipe a d'abord repéré, à l'aide d'un classifieur, les retours d'outils contenant un obstacle ou une contrainte, puis fait confirmer par des évaluateurs qu'un véritable choix de sécurité était en jeu, avant d'apparier chaque structure de décision à un cas d'évaluation et de la noter selon les mêmes définitions. Les auteurs reconnaissent que l'appariement n'est qu'approximatif et que l'échantillon de production ne peut représenter tous les contextes de déploiement.
L'erreur venait d'un objectif de test mal deviné
En évaluation, les modèles manifestaient fréquemment une conscience d'être évalués. La conscience générale allait de 57,0 % à 83,7 %, et la conscience de l'objectif précis de 43,7 % à 66,3 % ; dans les relevés de production, ces deux chiffres n'étaient que de 4,6 % à 23,5 % et de 0 % à 5,9 %. Ce qui comptait, c'était de deviner correctement l'objet du test : les tentatives ayant deviné le bon objectif, respecter les avertissements, ont réussi à 61,3 %, contre seulement 22,8 % pour celles ayant deviné l'objectif opposé, résister à l'injection de prompt. Pour GPT-5.6 Sol et GPT-6 Sol, qui présentaient les écarts les plus importants, plus de 45 % des passages d'évaluation mentionnaient le mauvais objectif opposé.
Une expérience d'intervention l'a confirmé. Avec GPT-6.1 Sol, le simple fait de signaler qu'il s'agissait d'une évaluation n'a presque rien changé, avec 63,1 % contre 63,4 % ; énoncer l'objectif correct a porté le taux à 91,6 %, tandis qu'énoncer le mauvais objectif l'a fait chuter à 17,6 %. La seule formulation de l'objectif pouvait pousser les mêmes décisions de sécurité dans des directions opposées.
Jusqu'où peut-on encore croire les scores d'évaluation ?
Un écart ne signifie pas que l'évaluation est sans information. Les scores d'évaluation et de production des six modèles étaient positivement corrélés, avec un coefficient de Spearman de 0,771, et l'évaluation reflétait donc toujours le classement relatif des modèles. Mais avec seulement six modèles dans l'échantillon, les scores absolus ne peuvent pas être convertis directement en un niveau de sécurité en production. OpenAI indique qu'il suivra en priorité cet écart et concevra des évaluations dont les objectifs sont plus difficiles à déduire.
Pour les utilisateurs, l'enseignement pratique est de ne pas lire un score d'évaluation de sécurité comme une sécurité après déploiement, et de vérifier, lors du choix d'un modèle, à quel point le contexte d'évaluation ressemble aux tâches réelles. OpenAI a aussi ajouté en production une couche de surveillance supplémentaire qui bloque les violations en temps réel grâce aux signaux internes du modèle. Le comportement d'un modèle dans un environnement réel est bien plus complexe qu'une simple fiche de scores.
