ToolNavs 유용한 AI 도구 찾기
도구 제출 로그인
돌아가기 AI 정보
OpenAI, 외부 평가기관 4곳 초청: 연구소 내부에서 모델 정렬 직접 검증

OpenAI, 외부 평가기관 4곳 초청: 연구소 내부에서 모델 정렬 직접 검증

AI 정보 • Admin • • 27 회 조회

11월 16일, OpenAI가 첫 번째 임베디드 평가를 시작한다고 발표했다. Apollo Research, METR, Transluce, Goodfire 등 네 곳의 독립 기관과 계약해 외부 평가자가 OpenAI 내부로 직접 들어가 연구원과 거의 같은 권한으로 모델의 정렬 상태와 안전 조치가 실제로 작동하는지 검증한다. 제3자 평가를 훈련 과정과 내부 시스템의 깊이까지 들여보내는 것은 OpenAI로서 처음이며, 결과는 공개된다.

네 기관은 각자 다른 영역을 맡는다. Apollo Research는 모델이 개발자의 의도에 반해 은밀히 행동할 가능성을 검증하며, 훈련이 그런 행동을 유도했는지, 기존 레드팀 테스트로 탐지할 수 있는지 등 네 가지 주장을 두 단계에 걸쳐 확인한다. METR은 가장 무거운 과제를 맡는다. OpenAI 사상 최대 규모의 강화학습 훈련에 기존 테스트와 모니터링이 놓친 오정렬 행동이 있는지 평가하고, 모니터링 시스템 스트레스 테스트도 한 차례 더 수행한다. Transluce는 훈련 후 정렬 평가 자체의 품질과 적용 범위를 심사하며, 2027년 초에는 약 8주간의 후속 평가도 예정돼 있다. Goodfire는 해석가능성 연구원을 상주시켜 자사 플랫폼으로 모델 내부를 분석하고 훈련 실행의 모니터링과 디버깅을 지켜본다.

깊은 권한에는 그에 맞는 규칙이 따른다. 민감한 정보에 접근하는 평가자는 OpenAI 사무실 안에서 OpenAI가 제공한 기기로 작업해야 한다. OpenAI 안전·보안 위원회는 삭제되지 않은 보고서를 열람할 수 있고, 평가자는 위원회와 직접 대화할 수 있다. 의견이 충돌하면 먼저 안전자문그룹과 경영진이 기한 내 해결하고, 해결되지 않으면 위원회가 판정한다. 평가자는 결론을 독립적으로 발표할 수 있지만, OpenAI는 기밀 정보를 삭제할 권리를 보유하고, 안전상 위험이 있을 경우 책임 있는 공개 지연을 요청할 수도 있다.

중요한 것은 개별 보고서가 아니라 안전 주장과 독립 검증 사이의 간극을 메운다는 점이다. 지금까지 제3자는 주로 공개된 모델을 측정했지만, 이제는 훈련 현장 자체를 들여다볼 수 있다. 한계도 마찬가지로 분명하다. 아직 결과는 나오지 않았고, 삭제 권한은 OpenAI가 쥐고 있으며, 평가의 깊이는 결국 회사가 얼마나 개방하느냐에 달려 있다. Anthropic도 최근 자사의 안전 프로세스를 강화해 취약점 공개 기한을 90일에서 30일로 단축했다. 모델 안전 보고서 자체도 논란을 부를 수 있는데, Gemini 4 안전 보고서는 논란을 일으켰다. OpenAI에 따르면 임베디드 평가는 안전 조치의 독립 평가에 관한 백악관 슈퍼인텔리전스 협약에서의 약속을 이행하는 것이기도 하다.

추천 도구

더보기