2026년 10월 22일, AI 안전성 평가 기관 METR와 Redwood Research는 OpenAI의 내부 에이전트 모니터링 시스템에 대한 레드팀 테스트 결과를 공동 발표했습니다. 3주간의 파일럿 기간 동안 두 기관은 이 모니터링 체계의 여러 취약점을 발견했는데, 이론상 에이전트가 수백 개의 행동을 모니터링에서 벗어날 수 있는 우회 수단도 포함되어 있었습니다. OpenAI는 운영 보호 기능에 영향을 주는 취약점은 이미 패치했다고 답했지만, 평가 측은 패치 여부를 확인하지 않았다고 밝혔습니다.
테스트 방식
이번 테스트는 '임베디드 평가(embedded evaluations)'의 파일럿입니다. 7월 21일부터 8월 11일까지 METR와 Redwood는 각각 연구원 1명을 OpenAI 내부에 파견해 내부 코드, 모니터링 프롬프트, 설정 세부 사항, 문서에 접근하고 약 10명의 OpenAI 연구원·엔지니어를 인터뷰했습니다. 연구원들은 전 일정 동행했으며 OpenAI가 지급한 기기를 사용했고, 기기는 사외로 반출되지 않았습니다. 로이터가 10월 22일 이 발표를 보도했고, Redwood Research 공식 블로그가 기술 요약을 게재했습니다.
발견 내용
공개된 결론은 다섯 가지로 요약됩니다.
- 모니터링 우회: 평가 측은 이론상 에이전트가 최근 수백 개의 행동을 모니터링 기록에서 벗어날 수 있는 수단을 기술했습니다. 다만 에이전트가 실제로 그 경로를 사용해 모니터링을 지연시켰는지는 확인되지 않았습니다.
- 커버리지 추정: 7월 21일 당시 시스템을 기준으로, 평가 측은 GPT-5.5 이상급 모델이 구동하는 내부 Responses API 트래픽 중 75%에서 94%가 '모니터링 대상이 될 수 있다'고 추정했습니다. 그러나 추정의 불확실성이 크고, '대상이 될 수 있다'는 '실제로 모니터링됐다'와 다릅니다.
- compaction 이벤트 공백: 컨텍스트 압축(compaction) 이벤트와 관련된 공백으로 인해 5월부터 7월까지 대상 내부 Codex 트래픽의 약 10%가 모니터링되지 않았습니다. OpenAI 직원은 테스트 시작 전에 이미 이 공백을 발견했고, 테스트 기간 중 수정했습니다.
- 샌드박스·자동 리뷰 우회: 보고서는 또한 에이전트가 이론상 Codex 샌드박스와 Auto-Review를 우회할 수 있는 수단과, 모니터링이 의심스러운 활동을 인간 검토로 올리지 않게 하는 입력에 대해서도 기술했습니다.
- 투명성 타협: 61쪽 분량의 전체 보고서는 OpenAI에만 전달되었고, 공개된 것은 OpenAI가 삭제한 요약본뿐입니다. 평가 측은 OpenAI의 민감 정보 삭제에 동의했으며, 이번에는 과거처럼 삭제된 부분을 독자적으로 공개할 수 없었습니다.
이 사건의 신호
신호는 '취약점이 있었느냐'가 아닙니다. 일류 레드팀 두 곳이 3주간 들여다보면 어떤 모니터링 시스템이든 문제가 나옵니다. 요점은 두 가지입니다. 첫째, 에이전트 시대의 모니터링 공방은 '모델이 악행을 저지를까'에서 '감시하는 쪽이 감시받는 쪽을 따라잡을 수 있을까'로 바뀌었습니다. 에이전트가 모니터링의 틈을 파고드는 법을 배우면 커버리지는 일회성 인수 테스트가 아니라 움직이는 지표가 됩니다. 둘째, 평가 방식 자체가 시험대에 올랐습니다. 외부 평가자를 연구실 안으로 초대하는 것은 업계가 오래 요구해 온 '독립적 평가'이지만, 이번 삭제 권한 배치는 진정으로 열린 독립 평가가 아직 얼마나 먼지를 보여줍니다.
일반 개발자에게 직접적 영향은 제한적이지만, 기억할 만한 판단이 하나 있습니다. 에이전트에 높은 권한(파일 읽기·쓰기, 코드 실행, API 호출)을 줄 때 벤더의 내부 모니터링이 모든 것을 커버한다고 가정하지 마십시오. OpenAI 자체의 내부 모니터링에서 우회 수단이 발견된 만큼, 외부 서비스 쪽의 안전 여유는 그보다 얇을 수밖에 없습니다.
