ToolNavs Outils IA à découvrir
Proposer Connexion
Retour à Informations sur l’IA
OpenAI fait entrer quatre évaluateurs externes : ils inspecteront l'alignement des modèles depuis l'intérieur du laboratoire

OpenAI fait entrer quatre évaluateurs externes : ils inspecteront l'alignement des modèles depuis l'intérieur du laboratoire

Informations sur l’IA • Admin • • 27 vues

Le 16 novembre, OpenAI a annoncé le lancement de la première phase d'évaluations intégrées, en signant des accords avec quatre évaluateurs indépendants — Apollo Research, METR, Transluce et Goodfire — pour laisser des experts extérieurs travailler à l'intérieur d'OpenAI avec des accès proches de ceux de ses propres chercheurs, afin de vérifier si les modèles sont bien alignés et si les mesures de sécurité fonctionnent réellement. C'est la première fois qu'OpenAI pousse l'évaluation par des tiers aussi loin dans le processus d'entraînement et les systèmes internes, et les résultats seront publiés.

Chaque évaluateur couvre un domaine différent. Apollo Research vérifiera si les modèles pourraient agir secrètement contre les intentions de leurs développeurs, en contrôlant quatre affirmations en deux étapes, notamment si l'entraînement a encouragé un tel comportement et si les tests d'équipe rouge existants peuvent le détecter. METR assume la tâche la plus lourde : évaluer si le plus grand entraînement par apprentissage par renforcement mené à ce jour par OpenAI contient des comportements désalignés que les tests et la surveillance actuels auraient manqués, en parallèle d'un nouveau test de résistance des systèmes de surveillance. Transluce examinera la qualité et la couverture des évaluations d'alignement post-entraînement, avec une évaluation de suivi d'environ huit semaines prévue début 2027. Goodfire détachera sur place des chercheurs en interprétabilité, qui analyseront l'intérieur des modèles avec sa propre plateforme et suivront la surveillance et le débogage des entraînements.

Un accès aussi profond s'accompagne de règles à la hauteur. Les évaluateurs manipulant des informations sensibles devront travailler sur site, dans les bureaux d'OpenAI, sur des appareils fournis par l'entreprise ; le comité de sûreté et de sécurité d'OpenAI recevra des rapports non expurgés, et les évaluateurs pourront dialoguer directement avec lui ; en cas de désaccord, le groupe consultatif de sécurité et la direction chercheront d'abord une solution dans un délai fixé, puis le comité tranchera. Les évaluateurs pourront publier leurs conclusions de manière indépendante, tandis qu'OpenAI conserve le droit de caviarder les informations confidentielles et de demander un délai de divulgation responsable en cas de risque pour la sécurité.

Ce qui compte ici, ce n'est pas un rapport isolé, mais le fait de combler l'écart entre les affirmations de sécurité et la vérification indépendante : jusqu'ici, les tiers testaient surtout des modèles déjà publiés ; ils pourront désormais observer le processus d'entraînement lui-même. Les limites sont tout aussi claires : aucun résultat n'a encore été publié, OpenAI tient toujours le stylo des suppressions, et la profondeur de l'évaluation dépendra en fin de compte de ce que l'entreprise acceptera d'ouvrir. Anthropic a elle aussi resserré récemment ses propres processus de sécurité, en réduisant de 90 à 30 jours le délai de divulgation des vulnérabilités. Les rapports de sécurité des modèles peuvent eux-mêmes susciter des controverses — celui de Gemini 4 en a provoqué. Selon OpenAI, ces évaluations intégrées concrétisent aussi ses engagements pris dans l'accord de la Maison-Blanche sur la superintelligence, qui prévoit une évaluation indépendante des mesures de sécurité.

Outils Recommandés

Plus