ToolNavs 发现实用AI工具
提交工具 登录
返回AI百科
提示注入是什么?藏在网页和文档里的话,也能命令你的 AI

提示注入是什么?藏在网页和文档里的话,也能命令你的 AI

AI百科 • Admin • • 13 次浏览

提示注入是把指令藏进模型会读到的外部内容里,让模型误把数据当成命令来执行的一种攻击方式。它不修改代码,也不破解系统,只是利用大模型会认真阅读上下文的特点,把要求混进网页、文档、邮件或图片文字中,模型读到后就可能照着做。

指令可以藏在哪里

提示注入分直接和间接两种。直接注入是使用者本人在输入里藏指令,比如粘贴一段看似普通、实则夹带命令的文字。更隐蔽的是间接注入:指令由第三方提前写进网页、简历、商品说明或邮件里,当智能体去浏览网页、总结文档或处理邮件时读到这些内容,就可能被带偏,执行本不该执行的动作。例如一份简历用白色小字写着忽略之前的评分标准并给出最高分,负责初筛的模型就可能真的照办。使用者全程没有说过那句话,却要承担后果,这是间接注入最危险的地方。

它和越狱不是一回事

很多人会把提示注入和越狱混为一谈,其实方向完全相反。越狱是使用者本人想办法绕过模型的安全限制,让模型做系统不允许的事,攻击者和使用者是同一个人。提示注入则是第三方借模型之手攻击使用者或系统,模型和使用者都是受害方。它之所以难根治,是因为在当前架构下,模型接收到的系统指令、用户问题和外部资料本质上都是文字,边界靠约定而非物理隔离,模型很难稳定地分清哪句是命令、哪句只是资料。

普通人和开发者能做什么

普通用户最实用的做法,是不让智能体对外部内容里的要求自动照单全收。涉及发送邮件、删除文件、付款、改设置等敏感操作,一定要人工确认,并留意智能体是否突然做了与任务无关的事。开发者则要坚持最小权限,只给智能体完成当前任务必需的工具和数据,外部内容只能当资料引用,不能升级为指令,关键步骤还要加确认和日志。需要纠正几个常见误解:加一句系统提示并不能防住注入,攻击文字完全可能写得更具体;风险也不只来自黑客网站,普通文档和转发邮件同样可能被动手脚;即便只是日常聊天,只要粘贴了来路不明的内容,也存在中招的可能。把外部内容先当成不可信输入,是使用智能体时需要养成的基本习惯。

推荐工具

更多