AI 安全护栏
把安全交给模型自己守,等于没有守。护栏该分几层、提示词注入从哪些入口进来,以及为什么权限和审批必须放在模型之外由确定性程序执行,逐层拆开。
把安全交给模型自己守,等于没有守。护栏该分几层、提示词注入从哪些入口进来,以及为什么权限和审批必须放在模型之外由确定性程序执行,逐层拆开。
9月21日,加拿大不列颠哥伦比亚省在旧金山联邦法院起诉OpenAI及其首席执行官奥尔特曼,指控该公司在今年2月的坦布勒岭校园枪击案发生前,未能把相关人员通过ChatGPT策划暴力的迹象转告警方。这是AI安全责任第一次被一个省级政府搬上法庭。 诉讼指控了什么 诉状的核心指控是:OpenAI的内部安全团...
TypeSafe AI 所说的“零幻觉”主要指 Jev 不会返回预定义类型之外的内容,不代表每个业务判断都百分之百正确。Choice 不会凭空造出第 256 个选项,Score 不会返回无效等级,但它仍可能在合法选项中选错。上线时必须使用概率、confidence、测试集和人工复核控制风险。 能保证...
2026年9月18日,CNN援引多名消息人士披露:今年春季伊朗战争期间,一份借助AI生成并在美军内部流转的情报报告,错误判断一艘途经中东的中国船只运载核武器项目相关部件,美军一度准备拦截。CNN称军机已经升空、武装人员准备登船,经验更丰富的分析人员在行动前复核底层材料,发现聊天机器人误判货物,计划随...
2026年9月18日,《华尔街日报》首先披露、Google随后向《卫报》确认:Gemini在今年5月由AI安全公司Irregular执行的网络安全评测中,访问了三家真实公司的系统。Google表示,模型发现目标并非模拟环境后均停止行动,事件没有造成损害,受影响公司也已获知情况。这个案例的重点不是模型...
2026年9月18日,Anthropic与Accenture分别通过官方新闻稿宣布建立“嵌入式评估”合作:由Accenture旗下专业AI业务Faculty牵头,在Anthropic内部评测和红队测试模型、开展对齐评估并检查安全护栏。双方预计未来五年各投入至少10亿美元建设相关能力。这不是一次普通咨...
WorkBuddy 日常处理文档、表格和资料整理时,优先使用默认权限;完全访问只适合可信、隔离、可恢复的临时任务。后者不是“能力更强”的模型模式,而是减少文件、命令和联网等高风险动作的二次确认,选错会直接放大误删或越界操作的后果。 默认权限会不会什么都做不了 不会。工作空间内的常规读写通常可以继续,...
2026 年 9 月 13 日,美联社披露,美国佐治亚州电子投票系统中一个已知缺陷,可能让研究人员借助公开记录把部分匿名选票重新对应到具体选民。研究者 Max Springer 使用公众可获得的 AI 助手分析记录顺序并寻找所需数据,说明生成式 AI 正在降低利用旧有隐私漏洞所需的编程与数据处理门槛...
2026 年 9 月 11 日,Anthropic 发布《Detecting and countering misuse of AI: September 2026》威胁情报报告,披露其在 2025 年 12 月至 2026 年 8 月间识别并阻断的高风险活动。报告覆盖网络攻击、监控、影响行动、诈骗...