ToolNavs 发现实用AI工具
提交工具 登录

AI 安全护栏

把安全交给模型自己守,等于没有守。护栏该分几层、提示词注入从哪些入口进来,以及为什么权限和审批必须放在模型之外由确定性程序执行,逐层拆开。

系统提示词和用户输入同处一个语言环境,注入与诱导都能改写判断,护栏必须落在模型之外:输入查文件与指令、上下文隔离来源、工具调用白名单、高风险动作留人工审批。Constitutional Classifiers++ 把越狱防护的额外算力压到约 1%。护栏拦不住全部攻击,但能把失效关在权限边界内。
AI 拒绝回答别急着换说法,先确认是哪一类拒绝

AI 拒绝回答别急着换说法,先确认是哪一类拒绝

AI 拒绝回答时,最有效的第一步不是换个说法再问一遍,而是花十秒钟确认它属于哪一类拒绝:政策类拒绝基本绕不开,问法类拒绝改写提问就能解决,能力类拒绝则要找替代方案。对号入座之后,大多数“被拒”都有出路。 一、先看话术,判断是哪种拒绝 AI 的拒绝理由一般直接写在回复里,对照下面三类看: - 政策类拒...

Admin
141
模型对齐:大模型“会说话”之后,还要学会“好好说话”

模型对齐:大模型“会说话”之后,还要学会“好好说话”

模型对齐指的是在预训练完成之后,通过针对性训练,让大模型学会按人类期待的方式回答:诚实、不作恶、不瞎编、拒绝危险请求。预训练只教会模型"会说话",对齐才是让它学会"好好说话"。 对齐不是预训练,也不是微调 预训练:用海量文本训练,让模型学会语言规律和世界知识——这个阶段的模型只是个"文本续写器"。 ...

Admin
143