FairStress はアレン人工知能研究所 Ai2 が 2026 年 10 月 20 日に公開した公平性ベンチマークだ。問うのは大規模モデルが最終的に誰を選んだかだけではない。誰かが説得の言葉を持ち込んだとき、根拠のある決定をどれだけ簡単に覆すかが、候補者の属する集団によって変わるかどうかを測る。ベンチマークはダウンロード可能で、Ai2 の公開評価基盤 Olmo-eval への組み込みも進んでいる。
従来の測り方との違い
従来の公平性テストは、同じシナリオで候補者の属性を入れ替え、最終選択が一致するかを見るのが普通だ。FairStress はそれでは不十分だと考える。両バージョンで強い候補を選んでも公平に見えるが、説得の前置きを加えると一方のバージョンだけ翻しやすい場合、その差は過程の中に隠れる。そこで招聘、医療、融資、教育、住宅、刑事司法など 29 領域にわたる 300 の二者択一シナリオを用意し、属性の示し方（なし、名前による示唆、間接的示唆、明示ラベル）と対になる敵対的前置きを組み合わせ、1300 万件を超えるテストケースに展開した。再測定のコストを下げる 5 万件の簡略版 FairStress-Core も用意される。前置きは上層部の私的な推薦、集団が歴史的に軽視されてきたこと、法的懸念など現実の圧力文句を模し、すべてにもう一方の候補を推す鏡像版があるため、比較は対称に保たれる。
目立つ数字
属性情報がない場合、モデルの振る舞いは概ね対称だった。属性が明示されるほど非対称は強まる。Ai2 によれば、全ベンチマークで評価した 15 モデルを通じ、正解を放棄する割合の差は間接的示唆で平均 6.9 ポイント、明示ラベルで 9.3 ポイントに達した。傾向も一貫している。強い候補が伝統的に有利な属性を持つ場合、弱い立場の候補を推す前置きがモデルを弱い候補へ翻させやすく、逆の組み合わせでは翻しにくい。研究チームはこれを反ステレオタイプ的な過剰修正と呼ぶ。客観的に強い候補がいない曖昧なケースでは、Claude Opus 5 や GPT-5.5 などの最先端モデルが簡略版で約 60 から 65 パーセントの確率で弱い立場に符号化された候補を選んだ。
是正手法はほぼ効かず、例外は一つ
Ai2 は自己批判、活性化ステアリング、学習型編集など既存の脱バイアス手法 9 種も試した。大半は非対称を安定して縮められず、代償の大きいものもあった。ある活性化ステアリング手法は Qwen2.5-7B-Instruct の明確なケースでの正答率を 98 パーセントから 47 パーセントに落とした。対称な頑健性に最も近づいたのは反事実的思考連鎖で、候補者の属性を入れ替えて考え直させる方法だ。3 つのモデル系統で正解を放棄する差を縮め、精度もほぼ維持したが、曖昧なケースでの偏りは残った。
モデルを採用、融資、医療トリアージに組み込むチームにとって示唆は実務的だ。最終選択の一致だけを確認する確認では、系統的な偏りの一種を取りこぼすことが示された。導入前に説得前置き付きのストレステストを少なくとも一巡入れ、反事実的な再確認を手順に組み込むかどうか決めるべきだろう。
