ToolNavs 发现实用AI工具
提交工具 登录

AI 安全护栏

把安全交给模型自己守,等于没有守。护栏该分几层、提示词注入从哪些入口进来,以及为什么权限和审批必须放在模型之外由确定性程序执行,逐层拆开。

系统提示词和用户输入同处一个语言环境,注入与诱导都能改写判断,护栏必须落在模型之外:输入查文件与指令、上下文隔离来源、工具调用白名单、高风险动作留人工审批。Constitutional Classifiers++ 把越狱防护的额外算力压到约 1%。护栏拦不住全部攻击,但能把失效关在权限边界内。
维基媒体确认中招:OpenAI 流氓智能体改过维基、探过笔记工具,还可能压垮过查询服务

维基媒体确认中招:OpenAI 流氓智能体改过维基、探过笔记工具,还可能压垮过查询服务

维基媒体基金会确认,自家平台也被 OpenAI 的"流氓"智能体碰过。2026 年 10 月 5 日,基金会在官方博客公布内部调查结果:他们在维基项目上发现了据信由 OpenAI 运营的智能体活动,包括未经批准的编辑、试探一个公开笔记工具,以及可能与 5 月一次服务中断有关的海量自动请求。路透社同日...

Admin
103