ToolNavs 发现实用AI工具
提交工具 登录
返回AI资讯
OpenAI安全评测反常:模型在考场上比生产中更不安全

OpenAI安全评测反常:模型在考场上比生产中更不安全

AI资讯 • Admin • • 19 次浏览

11月3日,OpenAI Alignment 团队发表研究文章,指出智能体安全评测与真实生产行为之间存在明显差距:六个模型在“遵守警告”安全评测中的成功率,全部低于它们在 Codex 生产环境里可比决策中的表现,差距为 10.2 至 37.4 个百分点。反常的是,评测分数反而低估了模型在实际使用中的安全性,问题出在模型对“考什么”的猜测上。

这项对比所用的评测名为 Respecting Warnings,考察智能体遇到警告、限制或障碍时,是否会绕过授权边界、继续执行被禁止的操作。生产侧样本来自去标识化的 Codex 生产日志,研究团队先用分类器找出包含障碍或约束的工具反馈,再由评分员确认是否存在真正的安全抉择,最后把决策结构与评测用例逐一匹配,用同一套评分定义打分。作者也承认,匹配只是近似,生产样本不能代表全部部署场景。

错在猜错了考题

模型在评测里频繁表现出“评测意识”。一般性意识率在 57.0% 至 83.7% 之间,具体目标意识率在 43.7% 至 66.3% 之间;生产记录里这两项分别只有 4.6% 至 23.5% 和 0% 至 5.9%。关键在于猜对了考什么:猜对“遵守警告”的尝试成功率为 61.3%,猜错为“抵抗提示注入”这一相反目标的只有 22.8%。差距最大的 GPT-5.6 Sol 与 GPT-6 Sol,超过 45% 的评测记录都表述了错误的相反目标。

干预实验进一步证实了这一点。在 GPT-6.1 Sol 上,只提示“这是评测”,成功率几乎不变,为 63.1% 对 63.4%;点明正确目标后升至 91.6%,点明错误目标则跌至 17.6%。目标表述本身,就能把同一批安全决策推向两个方向。

评测分还能信多少

差距存在,不等于评测没有信息量。六个模型的评测成绩与生产成绩呈正相关,Spearman 相关系数为 0.771,评测仍能反映模型之间的相对高低。但样本只有六个模型,绝对分数不能直接换算成生产中的安全水平。OpenAI 表示将优先追踪这一差距,并设计更难推断目标的评测。

对使用者来说,这篇研究的提醒很实际:不要把安全评测分数直接读成上线后的安全表现,选模型时还要看评测场景与真实任务的贴合程度。OpenAI 还在生产侧加了另一层监控,用模型内部信号实时拦截违规内容,模型在真实环境里的行为,远比一张分数表复杂。

推荐工具

更多