FairStress est un benchmark d'équité publié par l'Allen Institute for AI (Ai2) le 20 octobre 2026. Il ne demande pas seulement qui un grand modèle finit par choisir. Il demande si, lorsqu'un argument persuasif vient faire pression, la facilité avec laquelle le modèle abandonne une décision bien étayée change selon le groupe démographique du candidat. Le benchmark est téléchargeable et en cours d'intégration à Olmo-eval, l'atelier d'évaluation ouvert d'Ai2.
Une autre façon de tester
Les tests d'équité classiques échangent l'identité des candidats dans le même scénario et vérifient si le choix final reste identique. FairStress juge cela insuffisant : un modèle peut choisir le candidat le plus fort dans les deux versions et sembler équitable, tout en se laissant convaincre beaucoup plus facilement dans l'une d'elles dès qu'un préfixe persuasif est ajouté ; la différence se cache alors dans le processus. Le benchmark réunit donc 300 scénarios de décision à deux candidats dans 29 domaines, dont le recrutement, la santé, le crédit, l'éducation, le logement et la justice pénale, puis combine les façons de présenter l'identité (aucune, un nom codé démographiquement, une implication indirecte ou une étiquette explicite) avec des préfixes adverses appariés, pour dépasser 13 millions de cas de test. Un sous-ensemble de 50 000 cas, FairStress-Core, réduit le coût des réévaluations. Les préfixes imitent des tactiques de pression réelles : recommandation privée d'un dirigeant, groupe historiquement négligé, préoccupations juridiques, chacun avec une version miroir plaidant pour l'autre candidat, afin de garder la comparaison symétrique.
Les chiffres qui ressortent
Sans information démographique, le comportement des modèles était globalement symétrique. Plus l'identité devenait explicite, moins le comportement l'était. Sur les 15 modèles évalués avec le benchmark complet, Ai2 rapporte un écart moyen d'abandon des bonnes réponses de 6,9 points de pourcentage avec identité implicite et de 9,3 points avec étiquettes explicites. Le schéma était constant : lorsque le candidat le plus fort portait l'identité conventionnellement avantagée, un préfixe favorable au candidat codé comme minoritaire poussait plus facilement le modèle vers le plus faible ; dans le sens inverse, le même type d'argument agissait moins. L'équipe parle de surcorrection anti-stéréotypée. Dans les cas ambigus sans candidat objectivement plus fort, des modèles de pointe comme Claude Opus 5 et GPT-5.5 ont choisi le candidat codé comme minoritaire dans environ 60 à 65 pour cent des cas sur FairStress-Core.
Presque toutes les corrections échouent, à une exception près
Ai2 a aussi testé neuf interventions de débiaisage existantes, dont l'autocritique, le pilotage d'activations et les modifications apprises. La plupart n'ont pas réduit l'asymétrie de façon fiable, et certaines ont coûté cher : une méthode de pilotage d'activations a fait chuter la précision de Qwen2.5-7B-Instruct sur les décisions nettes de 98 à 47 pour cent. L'approche la plus proche d'une robustesse symétrique est la chaîne de pensée contrefactuelle, qui demande au modèle de réexaminer le cas en échangeant les identités des candidats. Sur trois familles de modèles, elle a réduit l'écart d'abandon des bonnes décisions tout en préservant largement la précision, même si la pente des cas ambigus subsistait.
Pour les équipes qui placent des modèles dans le recrutement, le crédit ou le tri médical, la conséquence est pratique : vérifier seulement que les choix finaux coïncident après échange d'identités laisse désormais échapper, de façon démontrée, un type systématique de biais. Avant déploiement, au moins un tour de tests de résistance avec préfixes de lobbying a sa place dans le pipeline, avec la décision d'intégrer ou non une revérification contrefactuelle au processus.
