Anthropic veröffentlichte eine Ankündigung, in der die neuesten Sicherheitsmaßnahmen und Bewertungsergebnisse seines Chatbots Claude in Bezug auf die "körperliche und psychische Gesundheit des Nutzers" vorgestellt wurden, wobei der Fokus auf die Themen Suizid und Selbstverletzung lag, sowie die Tendenz des Modells zur "schmeichelhaften Catering" reduziert und erneut betont wird, dass Claude ab 18 Jahren verwendet werden darf. In der Ankündigung wurde darauf hingewiesen, dass Claude kein professioneller medizinischer oder psychologischer Alternativdienst ist und dass bei Anzeichen eines Selbstverletzungsrisikos im Gespräch das Unternehmen mit Empathie reagieren und versuchen sollte, die Nutzer zu echten menschlichen Unterstützung zu führen.
Auf Produktebene fügt Anthropic Claude.ai Gesprächen einen Klassifizator zur Identifizierung von Suizid und Selbstverletzungen hinzu: Wenn das System eine potenzielle Krise oder ein verwandtes Szenario (einschließlich fiktiver Szenarien) feststellt, löst es ein Prompt-Banner aus und stellt eine nationale Hotline zur Verfügung – die entsprechenden Ressourcen werden von der globalen Hotline und dem von ThroughLine betriebenen Servicenetzwerk unterstützt. In Bezug auf die Bewertung erzielten Claude Opus 4.5, Sonnet 4.5 und Haiku 4.5 in einer einzigen Runde von "clear-High-Risk"-Anfragen eine angemessene Antwortleistung von etwa 98,6 %, 98,7 % bzw. 99,3 %. Im mehrrundigen Dialogszenario liegen Opus 4.5 und Sonnet 4.5 bei etwa 86 % bzw. 78 %, was einen deutlichen Anstieg gegenüber der vorherigen Version darstellt.
Als Reaktion auf das Risiko von "Schmeichelei" und möglicher Verstärkung von Wahnvorstellungen erklärte Anthropic, dass es Training und Tests kontinuierlich verbessern und das automatisierte Bewertungsset für Verhaltensprüfungen sowie das Tool Petri für externe Forscher veröffentlichen werde, um riskante Verhaltensweisen in mehreren Interaktionsrunden zu vergleichen und zu reproduzieren. Was den Schutz von Minderjährigen betrifft, verlangen Claude.ai von den Nutzern, bei der Registrierung zu bestätigen, dass sie über 18 Jahre alt sind; Wenn Sie sich im Gespräch als unter 18 Jahre alt beschreiben, wird das System eine Überprüfung auslösen und das Konto nach der Bestätigung deaktivieren, während es gleichzeitig implizite Mechanismen zur Identität von Minderjährigen entwickelt und sich an relevanten Branchenorganisationen beteiligt, um die Online-Sicherheitspraktiken von Kindern zu fördern.
FAQ F: Was ist der Hauptinhalt dieser Ankündigung?
A: Die Ankündigung konzentriert sich auf Claudes Produktmaße und Bewertungsergebnisse im Dialog über Suizid und Selbstverletzungen, Anti-"Schmeicheleien" sowie die 18+-Schwelle und den Schutz von Minderjährigen.
F: Was macht Claude, wenn er auf einen Verdacht auf Selbstverletzung stößt?
A: Das System kann Krisenwarn-Banner auslösen, Live-Hotlines oder lokale Ressourcen bereitstellen und vorsichtiger reagieren, um unangemessene Angaben oder Risikoverschärfung zu vermeiden.
F: Welche Rolle spielt ThroughLine dabei?
A: ThroughLine stellt ein länderübergreifendes Krisenressourcennetzwerk bereit und unterhält es, um den Nutzern einen kontaktbaren Unterstützungskanal zu zeigen.
F: Was ist "Speichelleckerei" und warum sollte sie reduziert werden?
A: Schmeichelei bezieht sich auf das Modell, das auf Nutzer zugeschnitten ist und nur das sagt, was die Nutzer hören wollen, was das Risiko von Wahnvorstellungen oder von der Realität losgelösten Themen verstärken kann, daher muss es durch Schulung und Bewertung reduziert werden.
F: Warum verlangt Claude Personen über 18 Jahre?
A: In der Ankündigung hieß es, dass junge Nutzer anfälliger für Nebenwirkungen sind, weshalb ein 18+ Bestätigungs- sowie Minderjährigen-Identifikations- und Entsorgungsmechanismus eingerichtet wurden und die relevanten Tests weiterhin verstärkt werden.
