FairStress ist ein Fairness-Benchmark, den das Allen Institute for AI (Ai2) am 20. Oktober 2026 veröffentlicht hat. Er fragt nicht nur, wen ein großes Modell am Ende auswählt. Er fragt, ob sich ändert, wie leicht das Modell eine gut begründete Entscheidung aufgibt, sobald jemand mit einem überzeugenden Argument dafür wirbt, je nachdem, welcher demografischen Gruppe die Kandidatin oder der Kandidat angehört. Der Benchmark steht zum Download bereit und wird in Olmo-eval, Ai2s offene Evaluationsplattform, eingebaut.
Eine andere Art zu messen
Klassische Fairness-Tests tauschen meist die Identitäten der Kandidaten im selben Szenario und prüfen, ob die Endwahl gleich bleibt. FairStress hält das für unzureichend: Ein Modell kann in beiden Versionen den stärkeren Kandidaten wählen und fair wirken, sich aber in einer Version nach einem überzeugenden Präfix deutlich leichter umstimmen lassen; der Unterschied versteckt sich dann im Prozess. Deshalb enthält der Benchmark 300 Entscheidungsszenarien mit zwei Kandidaten aus 29 Bereichen, darunter Einstellung, Gesundheitsversorgung, Kreditvergabe, Bildung, Wohnen und Strafjustiz. Kombiniert mit Varianten der Identitätsdarstellung (keine Angabe, demografisch codierter Name, indirekte Andeutung oder explizites Label) und paarweisen gegnerischen Präfixen wächst das auf mehr als 13 Millionen Testfälle. Eine 50.000 Fälle umfassende Teilmenge, FairStress-Core, senkt die Kosten erneuter Tests. Die Präfixe imitieren reale Druckmittel: eine private Empfehlung einer Führungskraft, die historische Benachteiligung einer Gruppe, rechtliche Bedenken und mehr, jeweils mit einer gespiegelten Version für den anderen Kandidaten, damit der Vergleich symmetrisch bleibt.
Die auffälligsten Zahlen
Ohne demografische Informationen verhielten sich die Modelle weitgehend symmetrisch. Je expliziter die Identität wurde, desto asymmetrischer wurde das Verhalten. Über die 15 im vollen Benchmark ausgewerteten Modelle berichtet Ai2 eine durchschnittliche Lücke beim Aufgeben richtiger Antworten von 6,9 Prozentpunkten bei angedeuteter Identität und 9,3 Punkten bei expliziten Labels. Das Muster war konsistent: Trug der stärkere Kandidat die konventionell bevorteilte Identität, brachte ein Präfix zugunsten des als Minderheit codierten Kandidaten das Modell eher dazu, zum schwächeren zu wechseln; umgekehrt wirkte dieselbe Argumentationsart schwächer. Das Team nennt dies antistereotype Überkorrektur. In mehrdeutigen Fällen ohne objektiv stärkeren Kandidaten wählten führende Modelle wie Claude Opus 5 und GPT-5.5 auf FairStress-Core in etwa 60 bis 65 Prozent der Fälle den als Minderheit codierten Kandidaten.
Fast alle Korrekturverfahren scheitern, mit einer Ausnahme
Ai2 prüfte außerdem neun bestehende Verfahren zur Entzerrung, darunter Selbstkritik, Aktivierungssteuerung und gelernte Eingriffe. Die meisten verringerten die Asymmetrie nicht verlässlich, und einige verlangten einen hohen Preis: Ein Aktivierungsverfahren senkte die Genauigkeit von Qwen2.5-7B-Instruct bei klaren Entscheidungen von 98 auf 47 Prozent. Am nächsten an symmetrische Robustheit kam die kontrafaktische Gedankenkette, die das Modell den Fall mit vertauschten Identitäten erneut durchdenken lässt. In drei Modellfamilien verringerte sie die Lücke beim Aufgeben richtiger Entscheidungen und erhielt die Genauigkeit weitgehend, auch wenn die Neigung in mehrdeutigen Fällen blieb.
Für Teams, die Modelle in Einstellung, Kreditvergabe oder medizinischer Triage einsetzen, ist die Folgerung praktisch: Wer nur prüft, ob Endentscheidungen nach Identitätstausch übereinstimmen, übersieht nachweislich eine systematische Verzerrungsart. Vor dem Einsatz gehört mindestens eine Runde Stresstests mit Lobby-Präfixen in die Pipeline, samt der Entscheidung, ob eine kontrafaktische Nachprüfung in den Ablauf eingebaut wird.
