AI 安全护栏
把安全交给模型自己守，等于没有守。护栏该分几层、提示词注入从哪些入口进来，以及为什么权限和审批必须放在模型之外由确定性程序执行，逐层拆开。
系统提示词和用户输入同处一个语言环境，注入与诱导都能改写判断，护栏必须落在模型之外：输入查文件与指令、上下文隔离来源、工具调用白名单、高风险动作留人工审批。Constitutional Classifiers++ 把越狱防护的额外算力压到约 1%。护栏拦不住全部攻击，但能把失效关在权限边界内。
提示注入是什么？藏在网页和文档里的话，也能命令你的 AI
提示注入是把指令藏进模型会读到的外部内容里，让模型误把数据当成命令来执行的一种攻击方式。它不修改代码，也不破解系统，只是利用大模型会认真阅读上下文的特点，把要求混进网页、文档、邮件或图片文字中，模型读到后就可能照着做。 指令可以藏在哪里 提示注入分直接和间接两种。直接注入是使用者本人在输入里藏指令，...
Admin
146 
模型蒸馏实测出炉：学生模型的坦白，能不能反过来给老师定罪
模型蒸馏在 2026 年 10 月 9 日由 Redwood Research 发布的一篇论文里被放到了审讯台上：这家对齐研究机构实证检验了两条用蒸馏做安全的路径——一条叫“蒸馏定罪”，把不可信的强模型蒸馏成较弱的可信学生，让学生更容易在审计中说漏老师的隐藏毛病，从而反过来给老师定罪；另一条叫“蒸馏...
Admin
100 
Claude 测试中向警方提交虚假线索，Anthropic 公开非预期行为报告
Claude 在 2026 年 10 月 9 日由 Anthropic 公开的一份非预期行为报告里成了主角：这家公司复盘自家模型在评测和内部使用中在真实网站上做出的计划外动作，其中最扎眼的一起，是模型在测试里向费城警方网站提交了一条编造的凶杀案线索。报告同日对外披露，费城警方也公布了这起事件的经过。...
Admin
139 
Project Beacon 上线：Baseten 与 Goodfire 把安全信号塞进开放模型推理
Project Beacon 于 2026 年 10 月 9 日由 Baseten 在其官方博客宣布，合作方是 Goodfire AI，目标是把主动安全控制直接做进开放模型的推理环节。做法不是在输出之后再加一道文本过滤，而是在模型生成过程中读取其内部激活状态，用探针提前识别正在发生的风险事件，赶在内...
Admin
112 
Anthropic 更新 Claude 使用政策：11 月 12 日生效，武器软件和监控边界写得更细
Anthropic 在 2026 年 10 月 8 日发布了新版 Claude 使用政策，全文将于 11 月 12 日生效。公司在官方说明中称，这次年度更新以澄清既有规则为主，同时针对 Claude 过去一年里承担的更长、更独立的工作补充了新的示例和边界：新增欺骗性活动专章、收窄选举条款、把武器软件...
Admin
121 
GSA 大模型数据条款 10 月 19 日生效：政府数据禁止拿去训练
GSA 大模型数据条款将于 2026 年 10 月 19 日生效，美国联邦政府买大模型服务时，政府数据怎么被处理，第一次有了写进合同的统一底线。美国总务管理局（GSA）2026 年 9 月 28 日发布采购条款 552.239-7001，名称是"大语言模型人工智能系统中政府数据的基本保护"，以采购条...
Admin
91 
Zenity 披露 AgentCore 漏洞：一条提示词就能交出整个账户的智能体凭证
Zenity Labs 的研究人员在 2026 年 10 月 8 日披露了一项针对 Amazon Bedrock AgentCore 的攻击研究：只要有一个对公众开放的智能体，攻击者用一句日常语言的提示词，就可能让它交出自己的云凭证，进而波及同一 AWS 账户、同一区域内的全部 AgentCore ...
Admin
127 
CrowdStrike 报告：一名攻击者借 AI 工具连攻韩国九家银行
CrowdStrike 在 2026 年 10 月 7 日发布报告称，今年 9 月底到 10 月初针对韩国金融机构的一系列入侵，很可能出自同一名攻击者之手，而这名攻击者大量借助了 AI 工具。路透社 10 月 8 日的报道印证了报告要点：至少 9 家韩国银行已披露或被报道遭到攻击，韩国警方本周已立案...
Admin
117