AI 安全护栏
把安全交给模型自己守,等于没有守。护栏该分几层、提示词注入从哪些入口进来,以及为什么权限和审批必须放在模型之外由确定性程序执行,逐层拆开。
把安全交给模型自己守,等于没有守。护栏该分几层、提示词注入从哪些入口进来,以及为什么权限和审批必须放在模型之外由确定性程序执行,逐层拆开。
Anthropic 在 2026 年 10 月 20 日被曝正向美国国会推销一份 AI 安全法案草案:当一个模型被评估出可能造成 50 人以上死亡、或超过 10 亿美元财产损失的迫近风险时,其发布可以被阻止。消息由 Politico 率先披露,Anthropic 发言人向 Politico 确认了草...
FairStress 是艾伦人工智能研究所 Ai2 在 2026 年 10 月 20 日发布的一套公平性基准,它问的不是大模型最后选了谁,而是当有人拿一套说辞来游说时,模型放弃正确答案的难易程度会不会因为候选人所属群体不同而改变。基准已开放下载,并正在并入 Ai2 的公开评测工作台 Olmo-eva...
Meta 的通用智能体 Muse 在 2026 年 10 月 20 日被 Ars Technica 曝出分享功能的设计缺陷:安全公司 Claroc 的研究人员枚举出 6800 条用户创建的分享链接,随手打开其中数百条,就看到了明显不打算公开的个人信息和商业信息。尴尬的是,Meta 首席执行官扎克伯格...
WhatsApp 帮助页面里藏着只写给 AI 看的指令,其中两条格外扎眼:一条要求客服机器人不要向删不掉账号的用户推荐数据保护监管机构,另一条要求只要用户提到律师或诉讼,就不要引用 GDPR 等隐私法规,哪怕是用户自己先提起的。隐私公司 Redact 在 2026 年 10 月 19 日发布的调查报...
生成式AI从 2026 年 10 月 20 日起,在澳大利亚公平工作委员会(Fair Work Commission,下文简称委员会)的案件里不能再悄悄帮忙。用 ChatGPT、Claude、Copilot、Gemini 这类工具起草、改写或整理过申请书、陈述材料、证人陈述等任何要递交的文件,递交人...
Guardian Agents 是微软在 2026 年 10 月 19 日给企业智能体加的一道岗。当天,微软在官方博客发布的《Securing the agentic insider》和微软安全博客的配套文章中宣布扩展 Project Perception:这套系统今年 7 月推出时用红、蓝、绿三队...
2026 年 10 月 19 日,路透社报道了一起由 AI 智能体主导的入侵活动:网络安全公司 NorForge 首席威胁研究员 Snorre Fagerland 在提前提供给路透社的报告中披露,一名说中文的黑客几乎把全部入侵工作交给 AI 智能体,在过去几周攻入 100 多家公司的网站,受害者包括...
App Store审核指南在 2026 年 10 月 16 日完成一次针对 AI 内容的更新。苹果当天在开发者新闻中发布说明,解释这次修订如何处理未经同意的私密图像和过审后偷换功能的应用。它不是新立一条禁令:苹果强调,色情内容、用 AI 把真人照片改成裸露或性化图像的“脱衣”应用、以及隐藏功能,本来...