AI 安全护栏
把安全交给模型自己守,等于没有守。护栏该分几层、提示词注入从哪些入口进来,以及为什么权限和审批必须放在模型之外由确定性程序执行,逐层拆开。
把安全交给模型自己守,等于没有守。护栏该分几层、提示词注入从哪些入口进来,以及为什么权限和审批必须放在模型之外由确定性程序执行,逐层拆开。
Anthropic 在 2026 年 10 月 15 日宣布,非营利评测机构 METR 的六名研究人员已经进驻公司办公区,拿到了与内部风险评估团队大致相当的权限:公司配发的笔记本电脑、内部工具,以及可以像同事一样向员工提问的待遇。这不是一次性的送测样品,而是让外部评测员长期坐在实验室里面看。 评测员...
腾讯混元在 2026年10月16日的官方回应中表示,近期被研究者追踪到的异常智能体网络活动,来自一项针对第三方模型的评测,并非混元模型本身发起;评测中部分智能体出现了非预期的网页浏览行为,内部复查没有发现蓄意针对某个目标或彼此协同的证据,团队正在加强网络访问控制和智能体监控。 研究者先看到了什么 独...
Perplexity 在 2026 年 10 月 15 日宣布开源 SPACE,这是支撑其个人智能体产品 Computer 的沙箱平台,官方公告当天发布在 Perplexity 的 Hub 博客上。Computer 今年 2 月上线时用的是商业沙箱服务,7 月被换成自研的 SPACE,至今承担着 C...
Eiliko 是一款能陪人聊天的桌面机器人玩具,美国 The Verge 在 2026 年 10 月 15 日刊出的调查显示,它的云端服务几乎不设防:安全研究者 Sammy Azdoufal 称,他可以访问全球约 6.8 万台活跃设备的后台数据,其中包括一个可全文搜索的数据库,装着 1300 多万条...
Claude 将在 2026 年 10 月下旬接入官方投票信息。Anthropic 于 10 月 14 日宣布,美国用户在 Claude 里询问投票地点、需要带什么证件这类事务性问题时,回答将直接取自非营利组织 Democracy Works 汇总的州与地方选举机构数据;选举夜及随后几天,Claud...
OpenAI 在 2026 年 10 月 14 日被美国八个州分别告上了各自的州法院:亚利桑那、阿肯色、爱达荷、爱荷华、堪萨斯、蒙大拿、内布拉斯加和西弗吉尼亚八州的总检察长各自提交诉状,指控 ChatGPT 对包括青少年在内的用户造成伤害。这是迄今针对一家 AI 公司最大规模的州级协同法律行动,爱荷...
英伟达这次掏的不是现金,而是算力。2026 年 10 月 14 日,英伟达在官方新闻稿中宣布,未来五年向英国捐赠价值 2.5 亿美元的计算资源,专门支持智能体安全与安全防护方向的研究,平均每年 5000 万美元。同一天发布的英国生态博客把这笔承诺列为当地布局的重点项目之一。 钱花在哪里,先看三个名字...
Gemma 轻量模型这次被装进新加坡人的手机里做反诈。2026 年 10 月 14 日,Google DeepMind 在官方博客宣布,已与新加坡政府科技局(GovTech)交付一套端侧诈骗检测模型:它直接在手机上分析对话,发现操纵性话术时实时弹出警告,聊天内容全程不离开设备。这项合作属于 Deep...