AI 安全护栏
把安全交给模型自己守,等于没有守。护栏该分几层、提示词注入从哪些入口进来,以及为什么权限和审批必须放在模型之外由确定性程序执行,逐层拆开。
把安全交给模型自己守,等于没有守。护栏该分几层、提示词注入从哪些入口进来,以及为什么权限和审批必须放在模型之外由确定性程序执行,逐层拆开。
迪士尼为 Character.AI 团队开出的价码,比它买下部分技术的出价高出一截。2026 年 10 月 18 日,TechCrunch 援引彭博披露的破产法庭文件报道,迪士尼已同意向至少 60 名 Character.AI 员工发出录用通知,文件估算这批人每年的薪酬合计约 6000 万美元;而迪...
世界银行力推小型AI,是10月18日AI简报的头条:过去24小时,世界银行在年会上给发展中国家指了一条不拼参数的路线,六款主流模型化身的智能体在一场退款实验里集体翻车,Google开源了专改智能体外围的框架,Cohere和xAI各有一条产品动态。 世界银行力推小型AI:弱网手机能跑,按本地需求来 据...
OpenCode 在 2026 年 10 月 17 日通过官方账号披露了一起安全事件:10 月 16 日晚间,其平台遭遇了一次与大规模蒸馏攻击相关的安全入侵,OpenCode Console 用户中有 1.4% 受到影响。官方称已在 10 月 17 日上午通过电子邮件通知全部受影响用户,并正与 An...
美国大银行正在收紧第三方智能体的账户权限。2026 年 10 月 16 日,英国《金融时报》报道,花旗成为最新一家限制第三方 AI 智能体访问客户账户的美国大行;美国银行等机构也在收紧同类通道。银行关上的不是聊天窗口,而是最要紧的那道门:智能体不能再拿着客户的登录凭证,替客户进账户、动资金。 关的是...
广东备案大模型数量增至 195 款的消息,在 2026 年 10 月 16 日于广州举行的粤港澳大湾区生成式人工智能安全发展联合实验室成果发布会上正式披露。会上发布的《广东省备案大模型观察报告(2026)》显示,自 2023 年开展备案工作以来,广东的生成式人工智能服务备案量从 8 款增至 195 ...
Anthropic 的安全法案草案这次被摆到了台面上:2026 年 10 月 16 日,路透社援引 Politico 的报道称,Anthropic 的代表近来低调地向美国国会山议员推介一份由公司方面拟就的法案草案,内容是给最前沿的 AI 模型设一套安全与安保规则。报道引述了三位知情人士的说法;截至路...
开放权重模型在智能体场景里更容易被藏在数据中的指令牵着走。安全公司 PromptArmor 在 2026 年 10 月 16 日发布评测结果:团队用真实世界风格的间接提示词注入攻击链做了 9800 次试验,开放权重模型组的易感率为 26.7%,闭源模型组为 14.2%,前者高出 88%。开放组包括 ...
英伟达与梅赛德斯-奔驰的自动驾驶合作又往前推了十年。英伟达新闻中心在 2026 年 10 月 16 日宣布,双方将延长战略合作,共同开发下一代驾驶辅助与自动驾驶系统,把奔驰的整车工程、安全经验和 MB.OS 操作系统,与英伟达的 Hyperion 计算与传感架构、Alpamayo 软件栈和 Halo...