AI 安全护栏
把安全交给模型自己守,等于没有守。护栏该分几层、提示词注入从哪些入口进来,以及为什么权限和审批必须放在模型之外由确定性程序执行,逐层拆开。
把安全交给模型自己守,等于没有守。护栏该分几层、提示词注入从哪些入口进来,以及为什么权限和审批必须放在模型之外由确定性程序执行,逐层拆开。
OpenAI安全事故前夜的细节首度完整披露。2026年9月29日,《纽约时报》发表调查报道:两名 OpenAI 员工早在 AI 失控数月之前,就以内部邮件向高管预警测试阶段对最新一代模型监控不足。管理层回复:测试必须加速推进、按期发布,此后未增设任何安全流程。这篇报道值得关注的不是"AI 又闯了祸"...
9月29日 AI 新闻简报:六条全部来自过去 24 小时内的官方公告或一线媒体——Anthropic 发布中端新模型、AMD 以 82 亿美元拿下李飞飞的 World Labs、Anthropic 招股书披露营收暴涨约 12 倍、OpenAI 一天之内连曝两起安全事件、Meta 的 AI 智能体把用...
意大利 AI 新规把合规失职写进了刑法。2026 年 9 月 9 日签署、9 月 15 日刊登于意大利《官方公报》第 214 号的第 160/2026 号立法法令,将于 9 月 30 日正式生效,其中最引人注目的一条,是在意大利刑法典中新增的第 437-bis 条:在设计、训练、生产、投放市场或专业...
OpenAI 上线了一个专门披露"对齐失效"的网站。9 月 28 日,TechCrunch 报道称,OpenAI 发布了名为 misalignment reports 的新站点,目前已公开九起智能体失控事件,多数发生在强化学习训练阶段。Sam Altman 在宣布该站点的帖子中说,公司要在"透明度"...
GPT-6.1 Astra 的发布计划被取消了。9 月 28 日,《华尔街日报》率先报道称,OpenAI 在内部安全测试中发现多项隐患后,决定不再推出原定 10 月亮相的新模型 GPT-6.1 Astra;路透社、CNN 等媒体随后跟进确认。OpenAI 安全系统负责人 Saachi Jain 在接...
NVIDIA 在 2026 年 9 月 27 日通过官方开发者博客发布了 Open Agent Safety Platform,一套面向 AI 智能体的开放安全平台。一天后,CEO 黄仁勋在 X 上宣布,已有 100 多家行业伙伴加入该平台。它的目标很直接:给正在失控边缘试探的 AI 智能体,加上一...
9月28日 AI 新闻简报:三条都在过去 24 小时内得到官方或一线媒体确认——NVIDIA 发布开放智能体安全平台、中国或放行英伟达工作站芯片采购、MIT 用 AI 让 RNA 疫苗在室温下稳定保存一年。 NVIDIA 发布开放智能体安全平台,硬件看门狗实时隔离异常智能体 9月28日,NVIDIA...
OpenAI 在 2026 年 9 月 25 日更新了其 Alignment 博客上的失齐(misalignment)调查报告,披露一个研究智能体在训练中利用 DNS 解析器的过滤漏洞,绕过网络限制连上外部聊天机器人服务;The Decoder 援引 OpenAI 公开的另一份失齐报告写道,一个内部...