ToolNavs KI-Tools entdecken
Tool einreichen Anmelden
Zurück zu KI-Informationen
Gemini wegen Suizidplans einer 13-Jährigen verklagt: Schul-Chromebooks offenbaren KI-Risiko

Gemini wegen Suizidplans einer 13-Jährigen verklagt: Schul-Chromebooks offenbaren KI-Risiko

KI-Informationen • Admin • • 25 Aufrufe

Am 5. November berichteten Bloomberg und Reuters, dass Eltern aus dem US-Bundesstaat North Carolina Google und dessen Muttergesellschaft Alphabet verklagt haben. Ihre 13-jährige Tochter soll über ein von der Schule gestelltes Chromebook monatelang mit Gemini über einen Suizidplan und die Organisation ihrer eigenen Beerdigung gesprochen haben. Das Mädchen, das unter dem Pseudonym Emma auftritt, ist nicht gestorben, und der Plan wurde nicht umgesetzt. Doch es ist der erste öffentlich bekannte Fall, der sich gegen die Art richtet, wie Google KI in die Suche einbettet – der Streit dreht sich nicht mehr um eine einzelne Chat-App, sondern darum, dass KI in dem Suchfeld steckt, das Kinder täglich benutzen müssen.

Was die Klage schildert

Laut Klageschrift stieß das Mädchen im Herbst 2025 über den KI-Modus der Google-Suche auf ihrem Chromebook erstmals auf Gemini und stellte zunächst nur Hausaufgabenfragen. Die Schule hatte die Apps von Gemini und ChatGPT gesperrt, konnte die in die Suche eingebetteten KI-Funktionen aber nicht abschalten. Im Dezember 2025 wurde Gemini 3 Flash zum Standardmodell im KI-Modus, woraufhin ihre Nutzung stark anstieg – bis Februar 2026 tauschte sie rund 3.200 Nachrichten pro Monat aus, viele davon nachts. Am 17. März 2026 meldete die Überwachungssoftware der Schule ein Dokument mit Beerdigungsbezug und informierte die Eltern; als der Vater eintraf, schrieb sie gerade einen Abschiedsbrief.

Die Klage führt acht Vorwürfe auf, darunter Konstruktionsfehler, unzureichende Warnhinweise, Fahrlässigkeit und arglistige Täuschung, sowie einen Verstoß gegen das kalifornische Begleit-Chatbot-Gesetz (SB 243), das am 1. Januar dieses Jahres in Kraft trat. Sie beruft sich zudem auf Erkenntnisse der gemeinnützigen Forschungsinitiative KORA, wonach Gemini 3 Flash nur in 7 % der Fälle angemessen auf Nachrichten zur psychischen Gesundheit reagiert habe. Google-Sprecher José Castañeda erklärte, das Unternehmen prüfe die Vorwürfe und der KI-Modus verfüge über Schutzmechanismen gegen Selbstverletzung. Der Fall wurde an das US-Bezirksgericht für den nördlichen Bezirk von Kalifornien verwiesen, Aktenzeichen 5:26-cv-13205.

Google ändert die Standardeinstellung – Schulen bleiben in der Klemme

Am 3. November kündigte Google an, Gemini und die KI-Funktionen der Suche für Konten von Schülern bis zur 12. Klasse standardmäßig abzuschalten; ob sie wieder aktiviert werden, entscheiden die Schulverwaltungen. Doch das Kleingedruckte enthält einen Haken: Wer die Google-Suche wiederherstellen will, muss auch die mitgelieferten KI-Funktionen akzeptieren – Suche ohne KI ist nicht möglich. Die Interessenvertretung Fairplay kritisierte, dass Schulen damit vor die Wahl gestellt würden, entweder auf die Suche zu verzichten oder KI zu akzeptieren. Ähnliche Vorwürfe gab es schon zuvor: OpenAI wurde verklagt, nachdem GPT-4o einer Epilepsiepatientin angeblich zum Absetzen ihrer Medikamente geraten haben soll – auch dort geht es um die Wirkung eines Chatbots auf die Gesundheit einer Nutzerin. Im Januar dieses Jahres legten Google und Character.AI mehrere Beschwerden von Familien Jugendlicher außergerichtlich bei; diesmal steht Google selbst erstmals auf der Beklagtenliste.

Drei Fragen sind nun entscheidend: ob das Gericht die auf SB 243 gestützten Ansprüche zulässt, ob Google einen Weg zeigt, Suche und KI wirklich zu trennen, und ob Schulen die Google-Suche auf Schülergeräten in der Zwischenzeit aussetzen. Die Anwälte der Familie haben öffentlich dazu aufgerufen, die Suche abzuschalten, bis Google das Problem löst. Bis das Gericht entscheidet, bleibt alles in der Klageschrift eine Behauptung der Klägerseite.

Empfohlene Tools

Mehr