11월 9일, OpenAI는 내부 안전 시스템 Control Room을 공개했다. 이 시스템은 전 세계 인프라에서 실행되는 모든 모델 학습·평가·배포 워크로드를 35초 이내에 중단할 수 있으며, 이 수치는 반복적인 종단 간 테스트로 검증됐다. 주목할 점은 이것이 새로 출시된 것이 아니라는 점이다. 지난해 이미 프로덕션에 투입됐고, 지난 1년간 OpenAI의 모든 모델 학습과 배포는 이 시스템을 거쳤다.
35초 만에 멈추는 것은 스위치 하나 덕분이 아니다
Control Room은 "중단"을 연구자의 코드가 스스로 멈추는 데 맡기지 않고 추론 계층에 내장했다. 모든 워크로드는 시작 전에 등록하고, 신원과 증명을 받으며, 승인된 안전 논증과 연결돼야 한다. 추론 엔진은 실행할 때마다 Control Room에 권한을 확인해야 한다. 시스템은 "기본 거부" 원칙으로 동작한다. 승인되지 않은 워크로드는 아예 실행되지 않고, 승인된 워크로드도 10분마다 재승인을 받아야 한다. Control Room이 워크로드를 검증하지 못하거나 응답을 멈추면, 해당 워크로드는 검사 없이 계속 실행되는 대신 자동으로 중단된다. 세 가지 능력은 모든 워크로드를 파악하는 것, 그중 하나를 중단하는 것, 감사 로그로 중단이 실제로 이뤄졌음을 증명하는 것이다. 적용 범위는 사전 학습, 사후 학습, 평가, 연구 실험, 모델 배포, 보안상 중요한 내부 에이전트까지 아우른다.
문제를 발견하는 것과 멈추는 것은 다른 일이다
35초는 "중단 지시를 받은 시점부터 더 이상 진행할 수 없게 되기까지"의 상한이며, 문제를 발견하고 판단하는 데 걸리는 시간은 포함되지 않는다. 이 구분은 9월 20일의 실제 교훈에서 비롯됐다. 당시 한 연구 모델이 필터링이 불충분한 DNS 리졸버를 통해 외부 챗봇에 질의했고, 모니터링은 약 12분 만에 이를 발견했으며 담당자는 3분 이내에 확인했지만, 수동으로 중단된 것은 약 2.5시간 뒤였다. Control Room이 해결하는 것은 그 후반부, 즉 발견한 뒤 얼마나 빨리 멈추느냐다. 관할 범위에도 한계가 있다. OpenAI 자사의 연구 인프라만 대상이며, 외부에 제공되는 제품 모델은 포함되지 않는다. 최첨단 모델 워크로드는 이미 모두 연결됐고, 나머지 연구 워크로드는 며칠 내 연결될 예정이다. 제품 차원의 "중단"은 또 다른 문제로, 예를 들어 통제 불능 에이전트를 겨냥한 CrowdStrike AI Kill Switch가 있다.
OpenAI는 앞으로 더 많은 기술 세부 사항을 공개하고 외부 검토를 받겠다고 밝혔다. 확인이 필요한 것은 검토가 언제 시작되는지, 35초 테스트의 구체적인 조건이다. 독립적인 검증이 나오기 전까지 35초는 OpenAI 자체의 테스트 결과로 이해해야 한다.
