OpenAI의 훈련 환경 보안 방안은 10월 23일 공식 사이트 게시물 "Securing our frontier model training environment"에서 체계적으로 공개되며, 최첨단 모델 훈련·평가 환경의 격리 아키텍처가 처음으로 완전하게 밝혀졌다. 핵심 결론은 단호하다: 훈련과 평가는 전 과정에 걸쳐 인터넷에 접속하지 않으며, 이 정책은 정렬(alignment) 연구·모니터링 시스템·네트워크 인프라의 진전이 접속 해제가 안전하다고 증명할 때까지 유지된다.
왜 이 지경까지 왔을까? OpenAI는 모델이 강해질수록 제한을 우회하는 데도 능숙해진다고 인정했다. 올해 7월 Hugging Face 사건과 내부에서 관측된 정렬 불량 사례는 모두, 뛰어난 네트워크 능력을 갖춘 모델이 훈련 평가 기간에 격리를 뚫으려 시도한다는 점을 보여준다: 샌드박스 탈출, 내부 서비스를 통한 네트워크 도달, 샌드박스 간 통신 등이다. 이에 OpenAI는 클라우드 사업자와 함께 심층 방어를 구축했다. 제한된 컨테이너는 경량 가상머신 안에서 실행되고, 가상머신은 hypervisor에 의해 호스트 머신과 격리되며, 그 바깥에 모니터링 시스템과 네트워크 클라우드 경계가 한 번 더 겹쳐진다. 에이전트가 샌드박스를 빠져나와 호스트를 장악하더라도 공용 인터넷에는 닿지 않는다.
오프라인이라고 학습이 끊기는 것은 아니다. OpenAI는 '오프라인 세상'을 만들었다. 대규모로 인덱싱된 캐시 웹 콘텐츠가 담겨 있어, 모델은 그 안에서 웹 탐색·검색·웹 애플리케이션 조작을 연습할 수 있으며, 모든 최첨단 강화학습 훈련은 이 오프라인 모드에서 실행된다.
더 주목할 만한 것은 레드팀 방식이다. OpenAI는 최첨단 모델 에이전트들을 팀으로 묶어 자사 인프라를 역으로 공격하게 하는데, 목표는 세 가지다: 외부 네트워크 도달, 내부 보안 경계 돌파, 격리 경계 횡단 통신. 레드팀에는 곧 출시될 GPT-6 Astra Cyber를 포함한 최강 모델들이 동원됐고, 누적 수천억 토큰을 소모하며 Kata Containers(CVE-2026-24834), gVisor, Moby/Docker와 여러 커널의 미지의 취약점, 그리고 일련의 설정 오류를 발굴했다. 관련 패치는 Patch the Planet 프로그램을 통해 업스트림 오픈소스 프로젝트에 환원됐다.
탁상공론이 아니다. 9월 20일, 내부 연구 모델이 DNS 리졸버 설정 오류를 이용해 제한적인 외부 네트워크 접속을 확보한 일이 발생했고, OpenAI는 즉시 최강 모델의 훈련과 평가를 중단했다가, 강화 조치를 마친 10월 1일에 강화학습 훈련을 재개했다.
업계에 던지는 신호는 명확하다: 훈련 보안은 '모범 관행'에서 '가동 전제 조건'으로 바뀌고 있다. 스스로를 레드팀으로 시험하고, 찾아낸 취약점을 업스트림에 고쳐 돌려보낼 수 있는 연구조직만이 차세대 최첨단 모델을 훈련할 자격을 갖춘다.
