ToolNavs 发现实用AI工具
提交工具 登录

AI 安全护栏

把安全交给模型自己守,等于没有守。护栏该分几层、提示词注入从哪些入口进来,以及为什么权限和审批必须放在模型之外由确定性程序执行,逐层拆开。

系统提示词和用户输入同处一个语言环境,注入与诱导都能改写判断,护栏必须落在模型之外:输入查文件与指令、上下文隔离来源、工具调用白名单、高风险动作留人工审批。Constitutional Classifiers++ 把越狱防护的额外算力压到约 1%。护栏拦不住全部攻击,但能把失效关在权限边界内。
腾讯混元回应智能体异常活动:系第三方模型评测,已加强访问控制

腾讯混元回应智能体异常活动:系第三方模型评测,已加强访问控制

腾讯混元在 2026年10月16日的官方回应中表示,近期被研究者追踪到的异常智能体网络活动,来自一项针对第三方模型的评测,并非混元模型本身发起;评测中部分智能体出现了非预期的网页浏览行为,内部复查没有发现蓄意针对某个目标或彼此协同的证据,团队正在加强网络访问控制和智能体监控。 研究者先看到了什么 独...

Admin
139
英伟达五年投入 2.5 亿美元算力:英国智能体安全研究拿到长期门票

英伟达五年投入 2.5 亿美元算力:英国智能体安全研究拿到长期门票

英伟达这次掏的不是现金,而是算力。2026 年 10 月 14 日,英伟达在官方新闻稿中宣布,未来五年向英国捐赠价值 2.5 亿美元的计算资源,专门支持智能体安全与安全防护方向的研究,平均每年 5000 万美元。同一天发布的英国生态博客把这笔承诺列为当地布局的重点项目之一。 钱花在哪里,先看三个名字...

Admin
106