ToolNavs 发现实用AI工具
提交工具 登录
返回AI资讯
OpenAI请来四家外部评估机构:直接进实验室查模型对齐

OpenAI请来四家外部评估机构:直接进实验室查模型对齐

AI资讯 • Admin • • 27 次浏览

11月16日,OpenAI 宣布启动首批内嵌评估,与 Apollo Research、METR、Transluce、Goodfire 四家独立机构签约,让外部评估人员直接进入 OpenAI 内部,用与研究员相近的权限检查模型的对齐情况与安全措施是否有效。这是 OpenAI 第一次把第三方评估做到训练过程和内部系统这个深度,评估结果会公开发布。

四家机构各查一块。Apollo Research 负责验证模型会不会暗中违背开发者的意图,分两个阶段检验四项主张,包括训练是否诱发了这类行为、现有红队测试能不能把它测出来。METR 的任务最重:评估 OpenAI 迄今最大规模的一次强化学习训练中是否存在现有测试和监控漏掉的错位行为,同时再做一轮监控系统的压力测试。Transluce 审查训练后对齐评估本身的质量与覆盖度,2027 年初还会有一轮约 8 周的后续评估。Goodfire 则派可解释性研究员常驻,用自家平台分析模型内部,盯着训练运行的监控与调试。

深度权限也配了相应的规矩。需要接触敏感信息的评估人员要在 OpenAI 办公室内、用 OpenAI 提供的设备工作;OpenAI 安全与安保委员会能看到未经删减的报告,评估方与委员会可以直接对话;出现分歧先由安全咨询组与高管在限期内解决,解决不了就交委员会裁决。评估方可以独立发表结论,OpenAI 保留删减保密信息的权利,也可以在涉及安全风险时要求负责任的披露延迟。

这件事的意义不在某一份报告,而在它补上了安全声明与独立验证之间的缺口:过去第三方大多只能测已发布的模型,现在能进训练现场看过程。局限同样明显:首批评估还没出结果,OpenAI 仍握有删减权,评估深度最终取决于它愿意开放多少。Anthropic 最近也收紧了自己的安全流程,漏洞披露期限从 90 天缩到 30 天。模型安全报告本身也会引发争议,Gemini 4 的安全报告就曾惹争议。OpenAI 表示,内嵌评估也是在兑现白宫超级智能协议中关于独立评估安全措施的承诺。

推荐工具

更多