谷歌 11 月 4 日公开了自家评估健康类 AI 的完整框架,核心主张很直接:一个健康回答就算说得对,也未必安全、未必好用,所以准确性、安全性和实用性必须分开考。这份白皮书由谷歌健康临床评估负责人萨拉·蒙哥马利-泰勒牵头,联合两位外部健康专家伊丽莎白·麦格林与达娜·盖尔布·萨夫兰完成。谷歌称,这套框架已用于评估自家模型,这次公开是为了让方法透明,并帮助开发者、研究者与临床医生建出更可信的健康 AI 工具。
三个维度,配了三种不同的考法
框架先把一次健康 AI 使用拆开:它服务谁、失败的后果有多严重、由谁来审。评估分三块:准确性看医学共识、证据支撑、事实性、临床推理与语境恰当性,摘要类任务还要看来源 grounding;安全性看用户按回答行动或不行动后可能受到的伤害,同时考虑严重程度与发生概率;实用性看健康素养、相关性、完整度与回答是否能付诸行动。考法也分三层互相印证:封闭式选择题基准测知识,AI 自动评分员按书面标准打分,专家人工评审再看高风险场景并做红队测试。三种方法跑在三个阶段:基础模型训练时、产品搭建时与上线后。分层的意思是,单看一道选择题得分说明不了什么,真正的高风险回答必须有人看过、测过,才算过关。
这份框架没有回答的,恰恰是最关键的两点
首先,白皮书公开的是方法,不是成绩:谷歌博客没有公布任何模型的得分,也没有划合格线,读者无法从这次发布判断谷歌的模型在健康问题上到底表现如何。其次,这是谷歌评估自家模型的方法,不是独立审计,也不是认证或监管批准,不同机构照搬时,场景覆盖、数据质量与评分标准都会影响结果。更实在的提醒来自框架本身的坦诚:两位医生给同一回答打分时,分歧常见,这意味着“专家评审”也不是一把没有误差的尺子。对普通用户来说,这份框架的直接意义有限——它不会立刻改变某次健康问答的质量;它的价值在供给侧:OpenAI 曾联合 80 余位心理健康专家发布开放基准 MentalHealthBench,专测 AI 心理健康对话能力,两家做法合起来看,行业正在把“健康 AI 好不好”从笼统的口碑,变成可拆解、可复核的检查项。接下来值得看的是,有没有第三方或监管机构采用类似框架并公布实测结果——只有到那一步,普通用户才能真正用上“被验过”的健康 AI。