ToolNavs 发现实用AI工具
提交工具 登录
返回AI资讯
OpenAI公开前沿风险管法:训练断网、35秒急停,证据不够就停手

OpenAI公开前沿风险管法:训练断网、35秒急停,证据不够就停手

AI资讯 • Admin • • 12 次浏览

2026年11月18日,OpenAI在官方博客首次系统公开了前沿模型的全生命周期风险管理办法:从训练、内部试用到公开发布,每一步都要过安全评审;一旦证据达不到标准,就暂停训练或扣住模型不发,GPT-6.1 Astra就曾因此被暂缓发布。

训练阶段:断网、沙箱、35秒急停

训练是最危险的阶段,OpenAI的办法是物理隔离:前沿模型训练全程不接互联网,沙箱、虚拟机、网络边界三层切断对外通道,还用最强的自家模型组成红队,天天尝试越狱、联网、串通被隔离的智能体。监控是最后一道防线:内部模型曾利用DNS配置漏洞拿到有限的互联网访问,OpenAI随即在9月20日至10月1日暂停了最强模型的训练与评测;新建的Control Room系统能在收到指令后35秒内停掉任何研究任务的模型输出。

发布之前:对齐、监控、离线执法三道关

模型走出沙箱进入内部试用后,风险随权限一起放大:它能访问互联网、Slack、代码库和内部系统。这时要过对齐与可监控性测试,配上系统级分类器和Auto-Review复核高风险操作;公开发布前还要加做自适应红队测试、第三方评估,并靠离线执法团队追查滥用账号。Daybreak与Rosalind等受信访问计划则在限制潜在攻击者的同时,加速合法研究者与防御者的接入。这套办法一路延伸到用户电脑上的Codex部署,OpenAI的表态很直白:安全措施不是一次性的护栏,而是一套会不断被挑战、也不断修补的流程,证据不够就停手,这句话本身就是这次公开最值得记住的部分。

推荐工具

更多