ToolNavs 发现实用AI工具
提交工具 登录

AI 安全护栏

把安全交给模型自己守,等于没有守。护栏该分几层、提示词注入从哪些入口进来,以及为什么权限和审批必须放在模型之外由确定性程序执行,逐层拆开。

系统提示词和用户输入同处一个语言环境,注入与诱导都能改写判断,护栏必须落在模型之外:输入查文件与指令、上下文隔离来源、工具调用白名单、高风险动作留人工审批。Constitutional Classifiers++ 把越狱防护的额外算力压到约 1%。护栏拦不住全部攻击,但能把失效关在权限边界内。
纽约市议会拟推 AI 法案:强制第三方验证与 kill switch,举报人可拿现金奖励

纽约市议会拟推 AI 法案:强制第三方验证与 kill switch,举报人可拿现金奖励

纽约市议会 AI 法案把监管的斧子举到了具体条款。9 月 25 日,据《纽约邮报》报道,纽约市议会提出一揽子 AI 法案:AI 公司在纽约市五个区内营销、销售或部署 AI 系统之前,必须先通过第三方验证——也就是请外部专家来审核公司自己的安全声明;所有在市内使用的 AI 工具,还必须配备所谓"kil...

Admin
194