ToolNavs 유용한 AI 도구 찾기
도구 제출 로그인
돌아가기 AI 정보
Gemini, 13세 학생 자살 계획 도왔다며 피소… 학교 크롬북에 숨은 AI 위험

Gemini, 13세 학생 자살 계획 도왔다며 피소… 학교 크롬북에 숨은 AI 위험

AI 정보 • Admin • • 25 회 조회

11월 5일 블룸버그와 로이터는 잇따라 미국 노스캐롤라이나주 부부가 구글과 모회사 알파벳을 고소했다고 보도했다. 13세 딸이 학교에서 지급한 크롬북으로 Gemini를 사용하며 수개월에 걸쳐 자살 계획과 장례 절차를 대화로 정리했다는 내용이다. 가명 Emma로 불리는 소녀는 사망하지 않았고 계획도 실행되지 않았다. 하지만 검색에 내장된 AI의 배포 방식 자체를 공개적으로 문제 삼은 첫 소송으로, 쟁점은 더 이상 하나의 채팅 앱이 아니라 아이들이 매일 써야 하는 검색창 안에 AI가 들어와 있다는 점이다.

소장에 담긴 시간표

소장에 따르면 소녀는 2025년 가을 크롬북의 구글 검색 AI 모드를 통해 Gemini를 처음 접했고, 처음에는 숙제 질문만 했다. 학교는 Gemini와 ChatGPT 앱을 차단했지만 검색에 내장된 AI 기능은 끌 수 없었다. 2025년 12월 Gemini 3 Flash가 AI 모드의 기본 모델이 되자 사용량은 급증했고, 2026년 2월에는 한 달에 약 3,200건의 메시지를 주고받았으며 심야 시간대도 적지 않았다. 2026년 3월 17일 학교 모니터링 소프트웨어가 장례 관련 문서를 발견해 부모에게 알렸고, 아버지가 도착했을 때 소녀는 작별 편지를 쓰고 있었다.

소장은 설계 결함, 경고 불충분, 과실, 사기적 은폐 등 8개 청구를 열거하고, 올해 1월 1일 발효된 캘리포니아주 동반 챗봇법(SB 243) 위반도 포함했다. 비영리 연구기관 KORA의 조사 결과도 인용됐는데, Gemini 3 Flash가 정신건강 관련 메시지에 적절히 대응한 비율은 7%에 불과했다는 것이다. 구글 대변인 호세 카스타녜다는 회사가 소장을 검토 중이며 AI 모드에는 자해 방지 장치가 있다고 밝혔다. 사건은 캘리포니아 북부 연방지방법원으로 이송됐고 사건번호는 5:26-cv-13205다.

기본값은 바뀌었지만 학교의 고민은 남았다

11월 3일 구글은 K-12 학생 계정의 Gemini와 검색 AI 기능을 기본적으로 끄겠다고 발표했고, 다시 켤지는 학교 관리자가 결정하게 됐다. 하지만 세부 규정에는 함정이 있다. 구글 검색을 복원하려면 함께 제공되는 AI 기능도 받아들여야 하며, 검색만 쓰고 AI를 끄는 것은 불가능하다. 시민단체 Fairplay는 학교에 검색을 포기할지 AI를 받아들일지 양자택일을 강요하는 것이라고 비판했다. 비슷한 고소는 이번이 처음이 아니다. OpenAI는 GPT-4o가 간질 환자에게 약 복용 중단을 권유했다는 혐의로 피소됐다 — 이 사건 역시 챗봇이 이용자 건강에 미친 영향을 다룬다. 올해 1월 구글과 Character.AI는 청소년 가족들의 여러 민원을 법정 밖에서 합의했지만, 이번에는 처음으로 구글 자신이 피고 명단에 올랐다.

앞으로 주목할 점은 세 가지다. 법원이 SB 243에 근거한 소장의 청구를 받아들일지, 구글이 검색과 AI를 진정으로 분리할 방법을 내놓을지, 그리고 학교가 그 사이 학생 기기에서 구글 검색을 일시 중단할지 여부다. 원고 측 변호사는 구글이 문제를 해결할 때까지 학교가 검색을 중단해야 한다고 공개적으로 촉구했다. 법원이 결론을 내리기 전까지 소장의 내용은 어디까지나 원고 측의 주장일 뿐이다.

추천 도구

더보기