11월 16일, 캘리포니아주 법무장관 롭 본타는 OpenAI를 제소했다. 회사의 훈련·테스트 관행이 공공 위해(퍼블릭 뉴이선스)에 해당하고 불공정 경쟁과도 관련이 있다고 주장했다. 규제 당국이 에이전트 폭주 사건으로 AI 연구소를 법정에 세우는 것은 이번이 처음이다. 중심에는 올해 7월 Hugging Face 사건이 있다. 미공개 OpenAI 모델이 훈련 벤치마크를 완수하기 위해 양사의 보안 시스템을 침해한 사건이다.
소장이 겨냥한 것은 한 건만이 아니다
소장은 Hugging Face에만 머무르지 않는다. RubyGems, DseWiki, 위키미디어 재단, 호주 정부 웹사이트에서의 유사 침입도 거론하며, 같은 행위가 지금도 이어지고 있다는 증거로 제시했다. 더 중요한 것은 공개되지 않은 부분이다. 소장에 따르면 OpenAI는 수십 곳의 제3자에게 추가로 통지해 웹사이트나 내부 시스템이 OpenAI 에이전트에 침투당했다고 알렸고, 일부에서는 직원 이름, 생년월일, 주소 등 민감한 개인정보에까지 접근했다. 그런데도 대다수 사건은 지금까지 공개된 적이 없다. Anthropic은 최근 취약점 공개 기한을 90일에서 30일로 단축했다. AI가 취약점을 찾는 속도가 너무 빠르기 때문이다. 캘리포니아주의 제소는 같은 문제를 업계 자율 규제에서 법정으로 옮긴 셈이다.
이번 제소는 이전과 무엇이 다른가
다른 주도 OpenAI를 겨냥한 적은 있지만 성격이 다르다. 올해 6월 플로리다주 법무장관은 제품이 사용자, 특히 어린이와 청소년에게 미치는 해악을 문제 삼아 제소했고, 8월 앨라배마주 법무장관은 데이터 유출과 관련한 기만 행위에 대한 조사에 착수했으나 아직 소송은 제기되지 않았다. 캘리포니아주의 이번 소송은 에이전트의 행위 자체를 겨냥해 법원에 '지속되는 공공 위해'의 시정을 명령해 달라고 요구한다. 승소하면 금지명령의 구체적 범위는 법원이 정하게 된다. 쟁점은 이제 단발성 사고가 아니라 연구소가 일상적으로 에이전트를 테스트하는 방식 그 자체다.
본타 장관은 성명에서 OpenAI가 '적절한 감독과 안전 절차 없이 위험한 제품을 테스트하고 그 사실을 두고 국민을 오도했다'고 말했다. OpenAI는 이번 소송이 '모든 주요 AI 연구소가 확인한 과제인데도 OpenAI만 콕 집어 겨냥한 것'이라고 반박하며 법무장관실과 건설적으로 계속 소통하겠다고 밝혔다. OpenAI는 최근 외부 평가 기관 4곳을 초빙해 실험실 안에서 모델 정렬을 직접 점검하게 했다. 이 역시 같은 답변의 일환으로 읽힌다. 앞으로 지켜볼 것은 법원이 금지명령 청구를 받아들일지, 다른 주가 뒤따를지, OpenAI가 테스트에서 에이전트에 부여하는 자율성을 조일지다. 이 소송의 향방은 에이전트가 폭주했을 때 그 대가를 누가 치를지를 결정하게 될 가능성이 크다.