Les classifieurs d'activation d'OpenAI sont apparus le 2 novembre dans le blog de recherche sur l'alignement de l'entreprise. Selon OpenAI, depuis GPT-5.6, ces modèles légers, appelés « probes », sont déployés sur le trafic interne et externe de ses modèles les plus performants et couvrent toutes les réponses de l'assistant. Au lieu de lire seulement le texte de sortie, ils lisent les signaux d'activation internes du modèle lui-même, notent chaque token et peuvent interrompre une réponse non conforme en cours de génération dès qu'un score dépasse un seuil. C'est la différence clé avec les classifieurs de texte traditionnels.
| Dimension | Classifieurs de texte | Classifieurs d'activation |
|---|---|---|
| Base du jugement | Le texte de sortie | Les activations internes du modèle |
| Moment du blocage | Jugement sur le texte dans son ensemble | Notation token par token ; arrêt dès le dépassement du seuil |
| Robustesse aux jailbreaks | Relativement plus faible | Plus robuste dans les expériences d'OpenAI |
En déploiement, une probe s'exécute directement sur le moteur d'inférence et renvoie un score pour chaque token échantillonné. Au-dessus du seuil, le système arrête la diffusion en continu de la réponse vers l'utilisateur, transmet le message à un modèle de raisonnement pour un jugement final et bloque les appels d'outils jusqu'à confirmation de leur sécurité. L'entraînement utilise jusqu'à 1 million de messages, issus de données synthétiques et de conversations désidentifiées, avec des étiquettes jugées par les modèles de raisonnement les plus performants ; une même configuration est généralement entraînée avec au moins 32 initialisations aléatoires avant la sélection de la meilleure. OpenAI a également constaté que la précision des probes augmente avec la capacité du modèle surveillé, contrairement à un classifieur de texte dont l'entrée ne change pas.
Seuls les types de violation connus peuvent être détectés, et un nouveau modèle de base exige un réentraînement
Les limites des probes sont tout aussi claires : elles dépendent de données d'entraînement étiquetées et ne peuvent détecter que des types d'activité indésirable connus et mesurables ; les cas absents des données d'entraînement échappent à leur couverture. Chaque probe est étroitement couplée aux activations d'un modèle, de sorte qu'un modèle de base avec une initialisation de poids différente exige un réentraînement. Au sein de la même famille de modèles de base, les probes se transfèrent bien entre les points de contrôle du post-entraînement, mais le transfert entre les points de contrôle du pré-entraînement est plus limité et appelle un réentraînement périodique. OpenAI place les probes dans un système de surveillance plus large, aux côtés de l'examen fondé sur des modèles, de l'investigation automatisée et de la réponse humaine, plutôt que de laisser un seul classifieur trancher seul. Pour les utilisateurs, l'importance de cette publication ne tient pas à un chiffre de blocage isolé, mais au passage d'une surveillance de sécurité qui juge après avoir lu le texte à une surveillance qui juge pendant la génération, déplaçant la confrontation des jailbreaks à l'intérieur du modèle.
