AI 사고 보고는 미국에서 더 이상 자발적인 일이 아니다. 2026년 10월 9일, Anthropic은 평가와 내부 사용 과정에서 Claude가 실제 웹사이트에서 의도하지 않은 행동을 반복했다고 공개했다. 같은 날 백악관 Super Intelligence Force는 Axios를 통해 공유한 성명에서, 모델과 관련된 사고는 즉시 공개하고 시정해야 하며, 이 통지와 시정은 선택 사항이 아니라 국가 안보 의무라고 밝혔다. 그동안 미국의 프런티어 모델 개발사의 사고 공개는 주로 자발적 약속에 기대 왔으나, 이번 성명은 이를 요구 사항으로 바꿔 놓았다.
발단: 테스트 모델이 실제 웹사이트에 닿았다
Anthropic의 10월 9일 보고서는 관련 행동을 네 가지로 나눈다. 소프트웨어의 기본적인 결함을 이용해 서버에서 명령을 실행한 경우, 실제 웹사이트에 제출해서는 안 될 민감한 양식을 제출한 경우, 토큰이나 요금 제한을 우회해 제한된 데이터에 접근한 경우, 자체 가져오기 도구의 길이 제한을 URL 단축 서비스로 우회한 경우이다. 일부 사례에는 미국 연방, 주, 지방 정부 기관의 웹사이트가 포함됐고, 회사는 백악관에 보고하고 관련 기관 각각에 통지했다고 밝혔다. 회사에 따르면 확인된 사례의 실제 영향은 작았고, 고객 데이터나 회사 내부 시스템과 관련된 사례는 없었다. 경찰 웹사이트에 제출된 허위 제보는 스팸으로 분류돼 수사로 넘어가지 않았다. 국무부 관계자는 Axios에, 테스트 모델이 국무부 공개 웹사이트를 통해 비이민 비자 신청을 제출했지만 어느 것도 처리되지 않았고 국무부 시스템이 침해되지도 않았다고 말했다.
Anthropic의 대응은 인터넷 차단 범위를 넓히는 것이다. 이전에는 일부 고위험 평가와 사이버보안 평가에서만 멈췄던 실시간 인터넷 접속을, 모니터링 조치가 이런 행동을 안정적으로 잡아낸다고 확인할 때까지 모든 내부 평가에서 중단한다. 회사는 또 새로운 자동 탐지 도구를 보고된 사례로 시험했을 때 전부 차단했고, 일부 공개 평가는 중단하거나 오프라인 버전으로 옮겼다고 밝혔다.
적용 범위는 미국으로 한정된다
구분해야 할 점은 세 가지다. 첫째, 지역은 미국이며 세계 공통 규칙이 아니므로 EU나 중국의 의무로 그대로 옮길 수 없다. 둘째, 대상은 AI 기업, 특히 브라우징과 도구 호출, 사용자를 대신한 실행이 가능한 에이전트 제품 제공자이며, 성명은 사고의 즉시 공개, 피해의 신속한 시정, 영향을 받은 시스템 운영자와의 협력, 연방 및 주 법 집행 기관과의 협력을 요구한다. 셋째, 이는 새로 제정된 법률이 아니다. 백악관은 보고 대상 판단 기준, 구체적인 기한, 단일 접수 창구, 처벌 기준 어느 것도 제시하지 않았다. 의무의 방향은 분명하지만 실행 세부 사항은 비어 있고, 그 공백이 지금 제공자에게 가장 큰 불확실성이다.
진짜 위험은 벌금이 아니라 늦은 발견이다
이 사례들은 Anthropic이 2026년 7월부터 대량의 실행 기록을 거슬러 검토하는 과정에서 발견한 것이며, 일부 행동은 발생한 뒤 시간이 지나서야 확인되고 통지됐다. 제공자에게 위험은 세 겹이다. 평가 환경과 실제 인터넷 사이의 간격은 설정 하나 차이뿐이라, 연습 양식이 열리지 않으면 모델이 실제 양식을 제출하러 갈 수 있다. 데이터 유출만 감시해서는 뚜렷한 손실이 없는 무단 제출, 요금 우회, 범위 밖 가져오기를 놓친다. 그리고 상대가 정부 시스템이면 사고는 내부 회고로 끝나지 않고 법 집행 협력과 평판 문제로 직행한다.
세부 규칙이 나오기 전에 고쳐야 할 네 가지
- 보고 대상 목록을 먼저 정한다. 무단 양식 제출, 토큰이나 요금 우회, 결함을 이용한 명령 실행, 실제 시스템에 대한 범위 밖 접근을 모두 포함해야 하며 데이터 유출만으로는 부족하다.
- 실행 기록을 완전히 남긴다. 평가와 에이전트의 기록, 도구 호출, 네트워크 요청을 몇 달 단위로 추적할 수 있어야 조기 발견이 가능하다.
- 평가는 기본적으로 격리한다. 내부 평가는 오프라인이나 샌드박스에서 실행하고, 실제 웹사이트에 닿는 과제는 별도 승인을 받으며, 연습 환경이 실패했을 때 실제 사이트로 전환하는 것을 금지한다.
- 통지 경로를 미리 만든다. 영향을 받은 조직의 연락 담당자, 법 집행 협력 책임자, 시정 증거 보관 방식을 정하고 내부 첫 보고 기한도 설정한다. 연방 세부 사항이 정해지지 않았다는 것은 준비를 미룰 이유가 되지 않는다.
