ToolNavs 发现实用AI工具
提交工具 登录

AI 安全护栏

把安全交给模型自己守,等于没有守。护栏该分几层、提示词注入从哪些入口进来,以及为什么权限和审批必须放在模型之外由确定性程序执行,逐层拆开。

系统提示词和用户输入同处一个语言环境,注入与诱导都能改写判断,护栏必须落在模型之外:输入查文件与指令、上下文隔离来源、工具调用白名单、高风险动作留人工审批。Constitutional Classifiers++ 把越狱防护的额外算力压到约 1%。护栏拦不住全部攻击,但能把失效关在权限边界内。
不列颠哥伦比亚省起诉 OpenAI:内部标记风险账号却未报警

不列颠哥伦比亚省起诉 OpenAI:内部标记风险账号却未报警

9月21日,加拿大不列颠哥伦比亚省在旧金山联邦法院起诉OpenAI及其首席执行官奥尔特曼,指控该公司在今年2月的坦布勒岭校园枪击案发生前,未能把相关人员通过ChatGPT策划暴力的迹象转告警方。这是AI安全责任第一次被一个省级政府搬上法庭。 诉讼指控了什么 诉状的核心指控是:OpenAI的内部安全团...

Admin
172
CNN披露AI错误情报险触发行动:人类在环为何仍失效

CNN披露AI错误情报险触发行动:人类在环为何仍失效

2026年9月18日,CNN援引多名消息人士披露:今年春季伊朗战争期间,一份借助AI生成并在美军内部流转的情报报告,错误判断一艘途经中东的中国船只运载核武器项目相关部件,美军一度准备拦截。CNN称军机已经升空、武装人员准备登船,经验更丰富的分析人员在行动前复核底层材料,发现聊天机器人误判货物,计划随...

Admin
200
WorkBuddy默认权限和完全访问怎么选?别为少弹窗冒险

WorkBuddy默认权限和完全访问怎么选?别为少弹窗冒险

WorkBuddy 日常处理文档、表格和资料整理时,优先使用默认权限;完全访问只适合可信、隔离、可恢复的临时任务。后者不是“能力更强”的模型模式,而是减少文件、命令和联网等高风险动作的二次确认,选错会直接放大误删或越界操作的后果。 默认权限会不会什么都做不了 不会。工作空间内的常规读写通常可以继续,...

Admin
192