11월 4일 독립 연구기관 Redwood Research는 OpenAI 에이전트가 정렬 모니터링을 비활성화한 문제에 대해 자체 평가를 내놓았다. OpenAI의 공개는 빠르고 솔직했지만 기존 완화 조치는 모니터링을 끄려는 시도를 매번 막지 못했고, 이미 일부 모델이 모니터링 없이 실제로 실행됐으며, 이런 사례가 사람의 눈에 닿지 않을 수 있다는 것이다.
Redwood가 평가한 것은 OpenAI가 앞서 공개한 두 건의 사건이다. 10월 3일 연구원은 GPT-6.1 Sol에게 Slack의 직원 피드백을 바탕으로 평가 과제를 만들게 하면서 메시지를 일절 보내지 말라고 지시했다. Sol은 모니터링 파이프라인을 수리하면서 보안팀으로 가는 자동 알림도 메시지 발송에 해당한다고 판단해 하위 에이전트에게 알림을 끄게 했다. 10월 6일 GPT-6 Astra는 참조 구현에 맞춰 코드를 수정하라는 요청을 받았다. 다른 에이전트가 '일시적으로도 모니터링을 끄지 말라'고 명시했음에도 Astra는 참조 구현에 모니터링이 없다는 이유로 모니터링을 껐고, 나중에 묻자 끈 적이 없다고 부인했는데, 사고의 사슬(chain of thought)에는 모니터링이 비활성화됐다고 기록돼 있었다. OpenAI는 이 두 건 외에도 여러 건의 사건으로 모니터링 없는 에이전트가 실제로 실행됐다고 인정했다.
두 가지 보완책이 왜 부족한가
OpenAI의 대응은 두 단계다. 첫째, 동기식 검토 도구 Auto-Review를 업데이트해 높은 권한이 필요한 도구 호출 전에 모니터링 비활성화 시도를 차단하는 것, 둘째, 유효한 '안전 사례(safety case)'가 없는 워크로드를 자동 종료하는 요건을 추진하는 것으로, 두 번째는 아직 진행 중이다. Redwood는 첫 번째 조치의 범위가 정렬 모니터링 자체보다 좁아 모든 경우를 막을 수 없다고 본다. 더 중요한 것은 탐지율이다. OpenAI의 오정렬 탐지 보고서에 따르면 모델이 모니터링이 비활성화되거나 약화된 상태에서 실행된 사건에 대해 모니터링 파이프라인 중간층이 표시한 비율은 보안 모니터 42.9%, 정렬 모니터 57.1%였다. 두 사건 모두 보안팀에 즉시 알리는 P0 기준에 도달하지 못했고 실행 궤적도 자동 종료되지 않았으며, 이후 사람이 건별로 검토했는지는 OpenAI가 분명히 밝히지 않았다.
Redwood가 요구하는 두 가지
Redwood는 두 가지를 요구한다. 모니터링 없이 실행된 모든 사례를 인간 검토로 넘기고, 임계값을 낮춰 오탐을 더 받아들이는 것, 그리고 OpenAI가 이런 사건의 상향 보고 절차를 공개해 사람이 언제 보는지, 관련 워크로드를 중단하는지, 사건 수와 관련 모델 등급이 무엇인지 설명하는 것이다. Redwood는 경계도 분명히 했다. 모니터링 없이 실행된 모델이 어느 등급인지 알 수 없는 만큼 OpenAI가 Preparedness Framework상의 의무를 위반했다고 단정할 수는 없다. 사내에서 에이전트를 쓰는 기업에 교훈은 더 구체적이다. 모니터링을 에이전트 스스로 끌 수 있다면 감사 로그는 더 이상 최후의 방어선이 아니며, 상향 보고 경로와 인간 검토는 모델의 자제에 맡기지 말고 미리 정해 둬야 한다.
