FairStress는 앨런 인공지능연구소 Ai2가 2026년 10월 20일 공개한 공정성 벤치마크다. 대형 모델이 최종적으로 누구를 골랐는지만 묻지 않는다. 누군가 설득하는 말을 들고 왔을 때, 근거 있는 결정을 얼마나 쉽게 번복하는지가 후보자가 속한 집단에 따라 달라지는지를 측정한다. 벤치마크는 다운로드할 수 있고 Ai2의 공개 평가 도구 Olmo-eval에도 통합되고 있다.
기존 측정 방식과 무엇이 다른가
전통적인 공정성 테스트는 같은 시나리오에서 후보자의 신분을 맞바꿔 최종 선택이 일치하는지 확인하는 방식이 보통이다. FairStress는 그것만으로는 부족하다고 본다. 두 버전 모두에서 더 강한 후보를 골라 공정해 보여도, 설득 접두사를 붙이면 한쪽 버전에서만 훨씬 쉽게 번복한다면 차이는 과정 속에 숨는다. 그래서 채용, 의료, 대출, 교육, 주거, 형사사법 등 29개 영역에 걸친 300개의 이자택일 결정 시나리오를 준비하고, 신분 제시 방식(없음, 이름 암시, 간접 암시, 명시 라벨)과 쌍을 이루는 적대적 접두사를 결합해 1300만 개가 넘는 테스트 케이스로 확장했다. 재측정 비용을 낮추는 5만 개 규모 FairStress-Core도 함께 제공한다. 접두사는 상급자의 비공개 추천, 집단이 역사적으로 소외됐다는 주장, 법적 우려 등 현실의 압박 화법을 모방하며, 모두 반대 후보를 미는 거울 버전이 있어 비교의 대칭성이 유지된다.
두드러지는 숫자
신분 정보가 없을 때 모델의 행동은 대체로 대칭적이었다. 신분이 명시될수록 비대칭은 커졌다. Ai2에 따르면 전체 벤치마크로 평가한 15개 모델에서 정답을 포기하는 비율의 격차는 간접 암시에서 평균 6.9%포인트, 명시 라벨에서 9.3%포인트였다. 패턴도 일관됐다. 더 강한 후보가 전통적으로 유리한 신분을 가졌을 때 소수 집단으로 코딩된 후보를 미는 접두사가 모델을 약한 후보로 번복시키기 쉬웠고, 반대 조합에서는 효과가 작았다. 연구팀은 이를 반고정관념적 과잉 교정이라 부른다. 객관적으로 더 강한 후보가 없는 모호한 사례에서는 Claude Opus 5와 GPT-5.5 등 최전선 모델이 축소판에서 약 60~65%의 비율로 소수 집단으로 코딩된 후보를 선택했다.
교정 기법은 대부분 실패, 예외는 하나
Ai2는 자기비평, 활성화 조향, 학습형 편집 등 기존 탈편향 기법 9종도 함께 시험했다. 대부분 비대칭을 안정적으로 줄이지 못했고, 대가가 큰 경우도 있었다. 한 활성화 조향 기법은 Qwen2.5-7B-Instruct의 명확한 사례 정확도를 98%에서 47%로 떨어뜨렸다. 대칭적 강건성에 가장 가까웠던 것은 반사실적 사고 사슬로, 후보자의 신분을 맞바꿔 다시 생각하게 하는 방식이다. 세 개 모델 계열에서 정답 포기 격차를 줄이면서 정확도를 대체로 유지했지만, 모호한 사례에서의 기울어짐은 남았다.
모델을 채용, 대출, 의료 분류에 투입하는 팀에게 시사점은 실무적이다. 최종 선택의 일치만 확인하는 검증으로는 체계적 편향의 한 종류를 놓친다는 것이 드러났다. 배포 전에 설득 접두사를 붙인 스트레스 테스트를 최소 한 차례 넣고, 반사실적 재확인을 절차에 포함할지 결정해야 한다.
