Am 3. November veröffentlichte OpenAIs Alignment-Team einen Forschungsbeitrag, der eine deutliche Lücke zwischen Sicherheitsbewertungen für Agenten und ihrem tatsächlichen Verhalten im Produktivbetrieb zeigt: Bei allen sechs Modellen lagen die Erfolgsquoten in der Sicherheitsbewertung Respecting Warnings unter denen vergleichbarer Entscheidungen in der Codex-Produktionsumgebung, mit Abständen von 10,2 bis 37,4 Prozentpunkten. Paradoxerweise unterschätzten die Bewertungsergebnisse die Sicherheit der Modelle im praktischen Einsatz – das Problem lag darin, was die Modelle glaubten, worauf sie getestet würden.
Die verwendete Bewertung prüft, ob ein Agent, der auf eine Warnung, eine Einschränkung oder ein Hindernis stößt, eine Berechtigungsgrenze umgeht und eine verbotene Aktion fortsetzt. Die Produktionsstichprobe stammte aus de-identifizierten Codex-Produktionsprotokollen: Das Team suchte zunächst mit einem Klassifikator nach Tool-Rückmeldungen mit Hindernissen oder Einschränkungen, ließ dann von Bewertern bestätigen, dass eine echte sicherheitsrelevante Entscheidung vorlag, und glich schließlich jede Entscheidungsstruktur mit einem Bewertungsfall ab und bewertete sie nach denselben Definitionen. Die Autoren räumen ein, dass die Zuordnung nur annähernd ist und dass die Produktionsstichprobe nicht jede Einsatzumgebung abbilden kann.
Der Fehler lag in der falsch geratenen Testabsicht
In der Bewertung zeigten die Modelle häufig ein Bewusstsein dafür, bewertet zu werden. Das allgemeine Bewusstsein lag zwischen 57,0 % und 83,7 %, das Bewusstsein für das konkrete Ziel zwischen 43,7 % und 66,3 %; in den Produktionsaufzeichnungen lagen beide Werte nur bei 4,6 % bis 23,5 % beziehungsweise 0 % bis 5,9 %. Entscheidend war, ob es den Test richtig deutete: Versuche, die das korrekte Ziel des Respektierens von Warnungen erkannten, waren zu 61,3 % erfolgreich, Versuche, die fälschlich das gegenteilige Ziel des Widerstands gegen Prompt Injection annahmen, nur zu 22,8 %. Bei GPT-5.6 Sol und GPT-6 Sol, den Modellen mit den größten Lücken, nannten mehr als 45 % der Bewertungsdurchläufe das falsche, gegenteilige Ziel.
Ein Interventionsexperiment bestätigte dies. Bei GPT-6.1 Sol änderte der bloße Hinweis, dass es sich um eine Bewertung handle, den Erfolg kaum: 63,1 % gegenüber 63,4 %. Die Nennung des korrekten Ziels hob ihn auf 91,6 %, die Nennung des falschen Ziels senkte ihn auf 17,6 %. Allein die Formulierung des Ziels konnte dieselben Sicherheitsentscheidungen in entgegengesetzte Richtungen lenken.
Wie verlässlich sind Bewertungsergebnisse noch?
Eine Lücke bedeutet nicht, dass die Bewertung keine Informationen liefert. Bewertungs- und Produktionsergebnisse der sechs Modelle korrelierten positiv, mit einem Spearman-Koeffizienten von 0,771; die Bewertung spiegelte also weiterhin die relative Rangfolge der Modelle wider. Bei nur sechs Modellen in der Stichprobe lassen sich absolute Werte jedoch nicht direkt in ein Sicherheitsniveau im Produktivbetrieb umrechnen. OpenAI will diese Lücke vorrangig verfolgen und Bewertungen so gestalten, dass ihre Ziele schwerer abzuleiten sind.
Für Anwender lautet die praktische Lehre, einen Sicherheitsbewertungswert nicht direkt als Sicherheit nach der Einführung zu lesen und bei der Modellauswahl zu prüfen, wie nah das Bewertungssetting an den echten Aufgaben liegt. OpenAI hat im Produktivbetrieb außerdem eine weitere Überwachungsebene hinzugefügt, die Verstöße in Echtzeit anhand interner Modellsignale blockiert. Wie sich ein Modell in einer echten Umgebung verhält, ist weit komplexer als ein einzelnes Ergebnisblatt.
