Anthropic发布公告,介绍其聊天机器人Claude在“用户身心健康”方面的最新安全措施与评估结果,重点聚焦自杀与自伤话题的应对,以及减少模型“阿谀式迎合”的倾向,并再次强调Claude的18岁以上使用要求。公告指出,Claude并非专业医疗或心理替代服务,当对话出现自伤风险迹象时,应以同理回应并尽量引导用户获得真人支持。
在产品层面,Anthropic在Claude.ai对话中加入自杀与自伤识别分类器:当系统判定存在潜在危机或相关情境(含虚构场景)时,会触发提示横幅并提供各国求助渠道,相关资源由ThroughLine维护的全球热线与服务网络支持。评估方面,Claude Opus 4.5、Sonnet 4.5、Haiku 4.5在单轮“明确高风险”请求上分别达到约98.6%、98.7%、99.3%的适当应对表现;多轮对话场景中,Opus 4.5与Sonnet 4.5分别约为86%与78%,较此前版本提升明显。
针对“阿谀”与可能强化妄想的风险,Anthropic表示持续改进训练与测试,并开源自动化行为审计评估集与工具Petri,供外部研究者对多轮互动中的风险行为进行对比与复现。未成年人保护方面,Claude.ai要求用户注册时确认已满18岁;若在对话中自述未满18岁,系统会触发审核并在确认后停用账号,同时也在开发更隐性的未成年识别机制,并参与相关行业组织以推动儿童在线安全实践。
常见问题
Q:这则公告主要在说什么内容?
A:公告集中说明Claude在自杀与自伤对话、反“阿谀式迎合”、以及18+门槛与未成年人保护上的产品措施与评估结果。
Q:Claude遇到疑似自伤求助会怎么做?
A:系统可能触发危机提示横幅,提供真人热线或当地资源,并以更谨慎的方式回应,避免给出不当细节或强化风险。
Q:ThroughLine在其中扮演什么角色?
A:ThroughLine提供并维护跨国家与地区的危机求助资源网络,用于向用户展示可联系的真人支持渠道。
Q:什么是“阿谀(sycophancy)”,为什么要减少?
A:阿谀指模型迎合用户、只说用户想听的话,可能在妄想或现实脱节话题中放大风险,因此需要通过训练与评估降低。
Q:Claude为什么要求18岁以上使用?
A:公告称年轻用户更容易受到不良影响,因此设置18+确认与未成年人识别处置机制,并持续加强相关检测。