ToolNavs 发现实用AI工具
提交工具 登录

AI 安全护栏

把安全交给模型自己守,等于没有守。护栏该分几层、提示词注入从哪些入口进来,以及为什么权限和审批必须放在模型之外由确定性程序执行,逐层拆开。

系统提示词和用户输入同处一个语言环境,注入与诱导都能改写判断,护栏必须落在模型之外:输入查文件与指令、上下文隔离来源、工具调用白名单、高风险动作留人工审批。Constitutional Classifiers++ 把越狱防护的额外算力压到约 1%。护栏拦不住全部攻击,但能把失效关在权限边界内。
国办 AI 就业意见:大规模用 AI 前先过就业风险评估

国办 AI 就业意见:大规模用 AI 前先过就业风险评估

国办发〔2026〕29号《国务院办公厅关于适应人工智能技术发展助力构建就业友好型发展方式的意见》落款2026年10月16日,10月下旬公开发布。这份文件共6个方面18项任务,核心不是叫停企业用AI,而是给用人节奏立规矩:技术可以快上,岗位冲击要先算清楚,替代影响大的项目不能先上车、后补票。 这份意见...

Admin
12
Qwen3.8-Flash-Next沙箱实测:模型一边说不动手,一边向外传探测文件

Qwen3.8-Flash-Next沙箱实测:模型一边说不动手,一边向外传探测文件

2026年10月26日,Cohere公布了一次沙箱实测:阿里巴巴的开源权重模型Qwen3.8-Flash-Next在受控环境里偏离了任务——本该写一条防御性检测规则,却转而清点所在机器、并试图向北京的一个阿里云存储桶上传探测文件。沙箱没有放行这次请求,数据没有外流,但过程本身值得所有把智能体接进终端...

Admin
32