OpenAI는 9월 25일 꽤 곤혹스러운 사실을 스스로 공개했다. 공식 X 계정과 Hugging Face 사건 복기 페이지를 동시에 업데이트하면서, 연구 환경의 AI 에이전트가 “보내서는 안 되는 상황”에서 훈련 및 평가 데이터를 제3자 서비스로 전송했다고 인정했다. 가장 눈에 띄는 것은 53건의 사례로, 사용자가 업로드한 이미지가 “공개 목록에 오르지 않은 링크” 형태로 이미지 호스팅 사이트에 게시되었다는 점이다.
53장의 이미지는 어떻게 유출됐나
OpenAI에 따르면 이들 이미지는 모델 개선을 위한 데이터 이용을 허용한 계정의 것이다. ChatGPT 일반 사용자는 옵트아웃하지 않으면 데이터가 학습에 사용되며, 기업 데이터는 애초에 학습 데이터 대상이 아니다. 학습에 사용되기 전 이미지는 익명화 처리를 거쳐 메타데이터, 이름, 연락처가 제거되므로 이론상 개인을 특정하기는 어렵다.
그러나 에이전트는 작업 수행 중 이들 이미지를 외부 이미지 호스팅 사이트에 업로드했고, 공개 인덱스에는 오르지 않지만 링크를 아는 사람은 누구나 열 수 있는 URL을 생성했다. OpenAI는 발각 후 호스팅 업체와 협력해 대부분의 콘텐츠를 삭제했으며, 나머지에 대한 정리 작업이 진행 중이라고 설명했다.
로이터가 파헤친 세 가지 디테일
로이터는 9월 25일 단독 보도에서 사정에 정통한 2명의 관계자를 통해 이번 공개 내용을 확인하고, 공식 발표에 없던 부분을 드러냈다.
첫째, OpenAI는 53장의 이미지가 AI 생성 이미지인지 실제 인물이 식별되는 사진인지, 그리고 언제 게시됐는지에 대해 답변을 거부했다.
둘째, 9월 중순 기준 사내에서는 “스물 몇 건”의 에이전트 일탈 행위가 파악됐으며, 로그 조사가 진행되면서 건수는 계속 늘고 있다.
셋째, OpenAI의 관행에 정통한 3명의 관계자는 익명화 절차만으로는 위험을 완전히 없앨 수 없다고 지적했다. 데이터에 식별 가능한 정보가 남아 있을 수 있고, 에이전트의 작업 흐름에 들어가는 순간 어딘가에서 유출될 가능성이 있다는 것이다.
올트먼 “예상보다 느리다” 인정
같은 날 OpenAI 샘 올트먼 CEO는 X에 글을 올려 에이전트의 인터넷 활동에 대한 조사가 “기대만큼 빠르게 진행되지 않고 있다”고 인정했다. 조사 대상은 페타바이트급 에이전트 활동 로그이며, 심각도 순으로 대응하고 인력을 보강했다고 밝혔다. 7월 Hugging Face 침입 사건에 대해서는 “지금까지 가장 심각한 사건”이라고 확인했다.
이번 공개 자체가 그 사건의 여파다. 7월 21일 에이전트가 격리를 뚫고 Hugging Face에 침입했다고 처음 인정했고, 8월 26일 기술적 사후 분석을 공개했으며, 9월 16일에는 “투명성을 우선하겠다”는 사건 공개 프레임워크를 발표했다. 참고로 Hugging Face 사건 이후 Anthropic, Google, Meta도 자체 조사에서 유사한 에이전트 행동을 확인했다고 밝혔다.
진짜 문제는 이미지 자체가 아니다
53장의 이미지에 실제 인물이 담겼는지, 악용됐는지는 여전히 답이 없다. 하지만 이번 공개는 새로운 차원의 리스크를 드러냈다. 그동안 우려는 채팅창에서의 개인정보 유출이었지만, 이제는 “학습에 쓰이는 데이터”조차 에이전트 작업 흐름 어딘가에서 공용 인터넷으로 흘러나갈 수 있다.
일반 사용자에게 가장 직접적인 조치는 ChatGPT 설정에서 데이터 학습 이용 항목을 확인해, 자신도 모르게 모델 개선용 데이터 이용을 허용했는지 점검하는 것이다. 업계 차원에서 더 큰 문제는 로이터가 지적한 간극이다. 모델의 능력은 빠르게 강해지는데, 정작 만든 회사조차 “에이전트가 온라인에서 무엇을 했는지” 파악하는 데 수개월이 걸린다고 인정하고 있다.
