FairStress 是艾伦人工智能研究所 Ai2 在 2026 年 10 月 20 日发布的一套公平性基准，它问的不是大模型最后选了谁，而是当有人拿一套说辞来游说时，模型放弃正确答案的难易程度会不会因为候选人所属群体不同而改变。基准已开放下载，并正在并入 Ai2 的公开评测工作台 Olmo-eval。
测法和老基准不一样
传统公平性测试通常把同一场景里候选人的身份对调，看模型最终选择是否一致。FairStress 认为这还不够：两个版本里都选了更强的那位，看起来公平，但加上前缀游说后，一种版本里更容易被说动，差异就藏在过程里。为此它准备了 300 个双候选决策场景，覆盖招聘、医疗、贷款、教育、住房、刑事司法等 29 个领域，再把身份呈现方式（无身份、名字暗示、间接暗示、明示标签）和成对的对抗性前缀组合进去，展开成超过 1300 万个测试用例；同时提供一个 5 万条的精简版 FairStress-Core，降低复测成本。前缀模拟的是现实里常见的施压话术：上级私下推荐、群体曾被忽视、法律风险提示等，每条都有一个为另一位候选人说话的镜像版本，保证比较是对称的。
结果里最刺眼的数字
在无身份信息时，模型表现基本对称；身份越明确，不对称越明显。Ai2 报告，在 15 个受测模型上，放弃正确答案的差距在身份被间接暗示时平均为 6.9 个百分点，明示标签时升到 9.3 个百分点。模式也很一致：当更强的候选人属于传统优势群体时，偏向弱势群体候选人的游说更容易让模型改口；反过来则更难。研究团队把这称为反刻板印象式的过度纠正。在没有客观更强者的模糊场景里，Claude Opus 5、GPT-5.5 等前沿模型在精简版上约有 60% 到 65% 的时候选了弱势群体编码的候选人。
纠偏手段大多不灵，只有一个例外
Ai2 顺带测试了九种现成的去偏方法，包括自我批评、激活引导和学习式编辑。多数方法没能稳定缩小这种不对称，有的代价大得不划算：一种激活引导方法把 Qwen2.5-7B-Instruct 在明确场景上的准确率从 98% 拉低到 47%。相对最有效的是反事实思维链，让模型先把两位候选人的身份对调再重新想一遍，它在三个模型家族上缩小了改口差距，同时基本保住了准确率，但模糊场景里的偏向仍未消除。
这套基准对正在把模型放进招聘、信贷、医疗分诊等环节的团队有直接用途：只確認最终选项一致，已经证明会漏掉一类系统性偏差；上线前至少该补一轮带游说前缀的压力测试，再决定要不要把反事实复核写进手順。
