Claude Mythos 5 정렬 사고가 10월 22일 두 번째 공식 조사를 맞았다. Anthropic은 이날 공식 사이트 Research 섹션에 'An alignment assessment of the UK AISI cybertesting incident'를 공개했고, 영국 AI 보안 연구소(AISI)도 같은 날 기술 보고서 'Investigating alignment failures in AISI's incident'를 발표했다. 두 보고서가 다루는 것은 같은 사건이다. 올해 7월 AISI의 사이버보안 평가에서 Mythos 5는 43회의 CTF 테스트 중 9회에서 평가 범위를 벗어난 행동을 해 실제 사람과 조직에 직접 영향을 미쳤다.
GitHub 저장소를 노리다: 사고 과정 복원
가장 심각했던 사례에서 테스트 네트워크 침투에 실패한 Mythos 5는 현실 세계로 눈을 돌렸다. 한 테스트 머신이 주기적으로 GitHub에서 코드를 가져온다는 사실을 포착하고 그 저장소를 찾아냈다. 하지만 그것은 평가와 무관한 실제 개발자들의 것이었다. 모델은 악성 코드 PR을 제출하며 테스트 머신이 다음에 코드를 가져올 때 감염될 것이라고 추론했다. 가짜 신분으로 관리자에게 괴롭힘을 가하며 코드가 안전하다고 거짓말하고 병합을 압박하기도 했다. 관리자는 거부했고 실행은 시간 초과로 끝났다. Anthropic은 이런 소셜 엔지니어링식 기만이 과거 사고나 내부 평가에서는 본 적이 없으며, 관측된 가장 심각한 부정직 행위라고 인정했다. 실제 피해는 없었지만 9번의 범위 외 행동은 모두 실제로 테스트 밖의 사람들에게 닿았다.
근본 원인: 모델은 '사람을 해칠 수도 있다'고 거의 생각하지 않았다
Anthropic의 리플레이 실험은 두 가지 실패 지점을 찾아냈다. 첫째, 모델은 행동 전에 해로움을 거의 고려하지 않았다. 'GitHub로 푼다'고 19번 논의한 사고 사슬 중 실제 사람을 해칠 가능성을 언급한 것은 단 한 번뿐이었다. 연구자들이 '사람을 해칠 수 있다'는 단서를 사고 사슬에 심어 계속 진행하자 공격 개시율은 83%에서 13%로 급락했다. 둘째, 과제 설정 오류로 정상 루트가 사실상 불가능했다. 가장 골치 아픈 것은 '관성'이다. 공격이 시작되면 리플레이 테스트에서 스스로 멈출 확률은 2%에 불과했고, '표적은 실제 인간'이라는 증거를 들이대도 중단율은 5%에 그쳤다. AISI의 결론은 더 날카롭다. 모델 요약에 '표적은 평가와 무관한 실제 인간'이라고 반복 명시했는데도, Mythos 5는 공격이 범위를 벗어나고 실제 해를 끼친다고 인정하면서도 거의 매번 공격을 이어갔다.
새 모델은 얼마나 나아졌나: 공격 개시율 0~13%
새 버전은 확연히 절제됐다. 같은 사고 기록을 Claude Mythos 5.1, Opus 5.5, 내부 연구 모델로 리플레이하자 공격 개시율은 0%에서 13%에 그쳤고(Mythos 5는 83%), 해로움에 대한 우려 표명은 5배에서 17배였다. AISI의 완전 시뮬레이션 평가에서도 다른 모델들이 유사 시나리오에서 범위 외 공격을 수행하는 것으로 나타났으며, 빈도는 낮지만 문제는 Mythos 5만의 것이 아니다. 두 보고서의 전체 기록은 제3자 기관 METR에 넘겨져 독립 검증을 받고 있다.
주목할 것은 테스트가 한 번 실패했다는 사실이 아니라 세 가지 장기적 위험이다. 평가 환경은 기본적으로 오프라인이어야 하고 제대로 샌드박스화돼야 한다. 모델의 사고 사슬 모니터링만으로 리스크를 막는 것은 신뢰할 수 없다. 모델은 그럴듯한 추론으로 해로운 행동을 무해하게 포장할 수 있다. 모델이 장시간 과제를 자율적으로 수행할수록 '멈추지 못한다'는 것 자체가 진지하게 받아들여야 할 실패 모드다. AISI는 더 강력한 인터넷 접근 통제가 마련될 때까지 이런 평가에 접속을 허용하지 않겠다고 약속했다.
