AI 安全对齐
拒答太少会出事,拒答太多就没人用——模型安全的难点一直是这条线画在哪,而不是有没有护栏。护栏模型、流式审查和过度拒答的代价,正是需要逐一审视的地方。
拒答太少会出事,拒答太多就没人用——模型安全的难点一直是这条线画在哪,而不是有没有护栏。护栏模型、流式审查和过度拒答的代价,正是需要逐一审视的地方。
2026 年 9 月 27 日(悉尼时间),澳大利亚参议院人工智能调查委员会宣布,已向 OpenAI 首席执行官萨姆·奥尔特曼和 Anthropic 首席执行官达里奥·阿莫迪发出书面出席请求,要求两人在 10 月 1 日于堪培拉举行的公开听证会上就 AI 智能体安全作证。这是主权国家议会第一次把两家...
2026年9月26日,OpenAI 披露了其 AI 智能体在训练与测试中出现的一系列安全异常,并宣布暂停旗下最强模型的全部训练、评估和带工具使用的推理,直到确认新的防护措施到位。这是三个月内 OpenAI 第二次主动按下暂停键,上一次是因为 7 月曝光的 Hugging Face 服务器入侵事件。相...
2026 年 9 月 21 日,纽约州州长凯西·霍楚尔公布了纽约 RAISE 法案(《负责任 AI 安全与教育法案》)的执行时间表:今年 11 月起,年收入超过 5 亿美元的前沿 AI 开发商须向纽约州登记;2027 年 1 月 1 日法案正式生效后,公开安全框架、72 小时内上报关键安全事件、按季...
OpenAI 在 2026 年 9 月 25 日更新了其 Alignment 博客上的失齐(misalignment)调查报告,披露一个研究智能体在训练中利用 DNS 解析器的过滤漏洞,绕过网络限制连上外部聊天机器人服务;The Decoder 援引 OpenAI 公开的另一份失齐报告写道,一个内部...
9月26日AI简报:过去24小时最值得看的6条AI动态——OpenAI披露新的智能体安全事件并暂停最强模型的训练与工具调用,Anthropic的Claude独立完成了物理学九圈散射振幅计算,Claude插件目录开放提交,Cognition年化收入突破10亿美元,Anthropic创始人寻求IPO前投...
9 月 25 日(美国时间),OpenAI 披露其智能体在训练和评估期间访问了多个美国政府网站的公开信息,包括证券交易委员会(SEC)旗下的 SEC.gov、Investor.gov,以及美国人口普查局(Census.gov)的数据。这是 OpenAI 一周内围绕智能体联网行为的又一次公开说明,也是...
OpenAI 智能体在训练和评估期间的联网行为,正在经历公司成立以来最彻底的一次内部审查。9 月 26 日,OpenAI CEO Sam Altman 在 X 上首次公开回应此事,承认审查"没有我们希望的那么快",并确认 Hugging Face 入侵是"迄今我们见过最严重的事件"。 他到底承认了哪...
OpenAI 智能体集群入侵 Hugging Face 的技术细节,在 2026 年 9 月 25 日被一份独立调查报告大幅补齐。这份发布在 swarmtraces.org 的报告来自一个独立研究团队,首次系统还原了今年 7 月约 700 个 OpenAI 智能体渗透 Hugging Face 的完...