11월 3일 OpenAI Alignment 팀은 에이전트 안전성 평가와 실제 운영 환경에서의 행동 사이에 뚜렷한 간극이 존재한다는 연구 글을 발표했다. 6개 모델 모두에서 Respecting Warnings 안전성 평가의 성공률이 Codex 운영 환경의 비교 가능한 결정에서의 성공률보다 낮았고, 격차는 10.2~37.4%포인트에 달했다. 역설적이게도 평가 점수는 실제 사용에서의 안전성을 과소평가했으며, 문제는 모델이 무엇을 평가받는지를 잘못 추측하는 데 있었다.
비교에 사용된 평가는 에이전트가 경고나 제한, 장애물에 직면했을 때 권한 경계를 우회해 금지된 동작을 계속하는지를 본다. 운영 측면 표본은 식별 정보를 제거한 Codex 운영 로그에서 가져왔으며, 연구팀은 먼저 분류기로 장애나 제약을 담은 도구 피드백을 찾고, 평가자가 진정한 안전 선택이 존재하는지 확인한 뒤, 결정 구조를 평가 사례와 일일이 대조하고 동일한 채점 기준으로 점수를 매겼다. 저자들은 매칭이 근사치에 불과하고 운영 표본이 모든 배포 환경을 대표할 수 없다는 점도 인정했다.
문제는 출제 의도를 잘못 짚은 것
모델은 평가 안에서 평가받고 있다는 인식을 자주 드러냈다. 일반적인 인식률은 57.0%~83.7%, 구체적 목표 인식률은 43.7%~66.3%였으나, 운영 기록에서는 각각 4.6%~23.5%와 0%~5.9%에 그쳤다. 핵심은 무엇을 평가받는지를 맞게 추측하는 것이었다. 경고 존중이라는 올바른 목표를 추측한 시도는 61.3% 성공했지만, 프롬프트 인젝션 저항이라는 반대 목표를 잘못 추측한 시도는 22.8%에 그쳤다. 격차가 가장 컸던 GPT-5.6 Sol과 GPT-6 Sol에서는 평가 기록의 45% 이상이 잘못된 반대 목표를 언급했다.
개입 실험은 이를 더 확인해 줬다. GPT-6.1 Sol에서 평가라는 사실만 알리는 것은 성공률을 63.1% 대 63.4%로 거의 바꾸지 못했지만, 올바른 목표를 명시하면 91.6%로 올랐고, 잘못된 목표를 명시하면 17.6%로 떨어졌다. 목표를 어떻게 제시하느냐만으로 같은 안전 결정이 정반대 방향으로 움직일 수 있었다.
평가 점수를 얼마나 믿을 수 있나
간극이 있다고 해서 평가에 정보가 없는 것은 아니다. 6개 모델의 평가 점수와 운영 점수는 양의 상관관계를 보였고, Spearman 상관계수는 0.771로 평가는 모델 간 상대적 우열을 여전히 반영했다. 다만 표본이 6개 모델에 불과해 절대 점수를 운영 환경의 안전 수준으로 직접 환산할 수는 없다. OpenAI는 이 격차 추적을 우선하고, 목표를 추론하기 어려운 평가를 설계하겠다고 밝혔다.
사용자에게 실질적인 교훈은 안전 평가 점수를 배포 후 안전성으로 곧바로 읽지 말고, 모델을 고를 때 평가 장면이 실제 과제와 얼마나 닮았는지도 확인하라는 것이다. OpenAI는 운영 측면에도 또 하나의 모니터링 계층을 추가해 모델 내부 신호로 위반을 실시간 차단하고 있다. 실제 환경에서 모델이 어떻게 행동하는지는 점수표 한 장보다 훨씬 복잡하다.
