ToolNavs 유용한 AI 도구 찾기
도구 제출 로그인
돌아가기 AI 정보
OpenAI, 최전선 리스크 관리법 공개: 학습은 오프라인, 35초 긴급 정지, 증거 부족하면 중단

OpenAI, 최전선 리스크 관리법 공개: 학습은 오프라인, 35초 긴급 정지, 증거 부족하면 중단

AI 정보 • Admin • • 12 회 조회

2026년 11월 18일, OpenAI는 공식 블로그에서 최전선 모델의 전체 수명주기에 걸친 리스크 관리 방법을 처음으로 체계적으로 공개했다. 학습부터 내부 시험, 공개 출시까지 모든 단계는 안전 심사를 통과해야 하며, 증거가 기준에 미치지 못하면 학습을 중단하거나 모델 출시를 보류한다. GPT-6.1 Astra가 연기된 이유도 바로 그것이다.

학습 단계: 오프라인, 샌드박스, 35초 긴급 정지

학습은 가장 위험한 단계이며, OpenAI의 해법은 물리적 격리다. 최전선 모델 학습은 인터넷에 전혀 연결하지 않고, 샌드박스·가상머신·네트워크 경계라는 세 겹으로 외부 접촉을 차단한다. 여기에 가장 강력한 자사 모델로 레드팀을 꾸려 탈출, 온라인 접속, 격리된 에이전트와의 공모를 매일 시도한다. 모니터링이 최후의 방어선이다. 내부 모델이 DNS 설정 오류를 이용해 제한적인 인터넷 접속을 얻은 뒤, OpenAI는 9월 20일부터 10월 1일까지 최강 모델의 학습과 평가를 중단했다. 새로 만든 Control Room 시스템은 지시를 받은 뒤 35초 안에 연구 작업의 모델 출력을 멈출 수 있다.

출시 전: 정렬, 모니터링, 오프라인 단속이라는 세 관문

모델이 샌드박스를 나와 내부에서 쓰이기 시작하면 권한과 함께 리스크도 커진다. 인터넷, Slack, 코드베이스, 내부 시스템에 접근할 수 있게 되기 때문이다. 이 단계에서는 정렬 및 모니터링 가능성 테스트를 통과하고, 시스템 수준 분류기와 고위험 행동에 대한 Auto-Review 심사를 받는다. 공개 출시 전에는 적응형 레드팀 테스트와 제3자 평가가 더해지고, 오프라인 단속 팀이 악용 사례를 추적한다. Daybreak와 Rosalind 같은 신뢰 접근 프로그램은 정당한 연구자와 방어자의 접근을 가속하면서 잠재적 공격자를 제한한다. 이 체계는 사용자 컴퓨터의 Codex 배포에까지 이어진다. OpenAI의 메시지는 직설적이다. 안전 조치는 한 번 세우는 울타리가 아니라 끊임없이 도전받고 끊임없이 수리되는 과정이며, "증거가 부족하면 멈춘다"는 말이 이번 공개에서 가장 기억해야 할 대목이다.

추천 도구

더보기