Die Aktivierungsklassifikatoren von OpenAI erschienen am 2. November im Alignment-Forschungsblog des Unternehmens. OpenAI zufolge sind diese leichtgewichtigen Modelle, kurz Probes genannt, seit GPT-5.6 im internen und externen Datenverkehr der leistungsfähigsten Modelle im Einsatz und erfassen alle Antworten des Assistenten. Statt nur den Ausgabetext zu lesen, lesen sie die internen Aktivierungssignale des Modells selbst, bewerten jedes Token und können eine regelwidrige Antwort mitten in der Erzeugung stoppen, sobald ein Wert einen Schwellenwert überschreitet. Das ist der entscheidende Unterschied zu herkömmlichen Textklassifikatoren.
| Dimension | Textklassifikatoren | Aktivierungsklassifikatoren |
|---|---|---|
| Beurteilungsgrundlage | Der Ausgabetext | Interne Modellaktivierungen |
| Zeitpunkt der Blockierung | Beurteilung des Textes als Ganzes | Bewertung Token für Token; Stopp bei Überschreiten des Schwellenwerts |
| Robustheit gegenüber Jailbreaks | Relativ schwächer | In OpenAIs Experimenten robuster |
Im Einsatz läuft eine Probe direkt auf der Inference-Engine und gibt für jedes gesampelte Token einen Wert zurück. Oberhalb des Schwellenwerts stoppt das System das Streaming der Antwort an den Nutzer, übergibt die Nachricht zur endgültigen Beurteilung an ein Reasoning-Modell und blockiert Tool-Aufrufe, bis der Aufruf als sicher bestätigt ist. Das Training nutzt bis zu 1 Million Nachrichten aus synthetischen Daten und de-identifizierten Gesprächen; die Labels werden von den leistungsfähigsten Reasoning-Modellen beurteilt, und eine Konfiguration wird üblicherweise mit mindestens 32 zufälligen Initialisierungen trainiert, bevor die beste ausgewählt wird. OpenAI stellte außerdem fest, dass die Genauigkeit der Probes mit der Fähigkeit des überwachten Modells steigt – anders als bei einem Textklassifikator, dessen Eingabe sich nicht ändert.
Nur bekannte Verstoßtypen sind erkennbar, ein neues Basismodell erfordert Neutraining
Die Grenzen der Probes sind ebenso klar: Sie hängen von gelabelten Trainingsdaten ab und können nur bekannte, messbare Arten unerwünschter Aktivität erkennen; Fälle, die in den Trainingsdaten fehlen, liegen außerhalb ihrer Abdeckung. Jede Probe ist eng an die Aktivierungen eines Modells gekoppelt, sodass ein Basismodell mit anderer Gewichtsinitialisierung ein Neutraining erfordert. Innerhalb derselben Basismodellfamilie übertragen sich Probes gut über Post-Training-Checkpoints hinweg, über Pre-Training-Checkpoints hinweg ist die Übertragung jedoch begrenzter und erfordert regelmäßiges Neutraining. OpenAI bettet die Probes in ein breiteres Überwachungssystem ein, zusammen mit modellbasierter Überprüfung, automatisierter Untersuchung und menschlicher Reaktion, statt einen einzelnen Klassifikator allein entscheiden zu lassen. Für Nutzer liegt die Bedeutung dieser Offenlegung nicht in einer einzelnen Blockierungszahl, sondern in der Verschiebung der Sicherheitsüberwachung vom Urteilen nach dem Lesen des Textes zum Urteilen während der Erzeugung – und damit des Jailbreak-Wettstreits ins Innere des Modells.
