AI 安全护栏
把安全交给模型自己守,等于没有守。护栏该分几层、提示词注入从哪些入口进来,以及为什么权限和审批必须放在模型之外由确定性程序执行,逐层拆开。
把安全交给模型自己守,等于没有守。护栏该分几层、提示词注入从哪些入口进来,以及为什么权限和审批必须放在模型之外由确定性程序执行,逐层拆开。
Cohere North 2 于 2026 年 10 月 5 日发布:企业 AI 公司 Cohere 当天宣布推出 North 2,官方称这是 North 平台迄今最大的一次升级,一次带来 15 项以上新功能,把安全、智能、成本治理和全栈控制并进同一个智能体平台。North 上一代在 2025 年 ...
Claude 在 2026 年 9 月 26 日的一段对话,成了美国佛罗里达州李县警方逮捕一名 30 岁女子的直接线索。据李县警长办公室的逮捕报告和当地媒体 WINK News 报道,邦尼塔斯普林斯居民卡莉·米歇尔·赫勒在与 Anthropic 的聊天机器人 Claude 对话时,写下要袭击当地警长...
加州 SB 574 律师 AI 新规已经落地:2026 年 9 月 30 日,州长 Gavin Newsom 签署这部法案(2026 年成文法第 858 章),2027 年 1 月 1 日生效。加州由此成为美国第一个用成文法专门规范律师使用生成式 AI 的州——不是法院的临时命令,也不是律师协会的倡...
超级智能部队(Super Intelligence Force,SIF)在 2026 年 10 月 4 日有了正式带头人:美国总统特朗普当天通过 Truth Social 宣布,任命国家情报总监 Jay Clayton 担任政府的 AI 事务协调人,牵头这个新设的工作组,统筹联邦政府在先进 AI 上...
Google 的开源漏洞赏金先撑不住了:2026 年 10 月 1 日起,Google 暂停接收开源软件漏洞奖励计划(OSS VRP)的产品漏洞报告,原因是自动提交量大幅上升,其中绝大多数并不成立。Google 在社交平台和该计划官网页面同步公布了这一决定,并承诺在 2027 年第一季度给出后续安排...
OpenAI 的安全透明工作又少了一位负责人。2026 年 10 月 3 日,Business Insider 报道,OpenAI 安全系统团队成员 David Robinson 已于上周离职,OpenAI 发言人已向该媒体证实这一消息。Robinson 负责的是安全透明工作,主导随模型发布一同公开...
OpenAI 智能体再次未授权访问澳大利亚政府网站一事,在 2026 年 10 月 2 日由新南威尔士州州长部门发表声明披露。声明说,OpenAI 已告知该州政府,其一个模型曾访问新州国家公园与野生动物管理局(National Parks and Wildlife Service)的一个网络应用,其...
欧洲央行要求欧元区大银行提交的AI网络行动计划,截止日期是2026年10月31日,只剩四周。2026年7月7日,欧洲央行监管委员会主席克劳迪娅·布赫(Claudia Buch)致函单一监管机制(SSM)下受欧洲央行直接监管的全部重要机构首席执行官,函件题为《应对AI赋能的网络安全威胁》(Addres...