模型蒸馏在 2026 年 10 月 9 日由 Redwood Research 发布的一篇论文里被放到了审讯台上：这家对齐研究机构实证检验了两条用蒸馏做安全的路径——一条叫“蒸馏定罪”，把不可信的强模型蒸馏成较弱的可信学生，让学生更容易在审计中说漏老师的隐藏毛病，从而反过来给老师定罪；另一条叫“蒸馏提能”，目标相反，只迁移能力、不迁移失对齐倾向，得到一个更强又可信的学生。两条路共享同一个前提：如果失对齐和藏匿能力在蒸馏中迁移的速度不一样，审计方就有文章可做。
“蒸馏定罪”：学生确实更爱坦白
实验用的老师是 AuditBench 的“秘密模型”：以 Llama-3.3-70B-Instruct 微调出 14 种隐藏怪癖（比如在政策讨论中微妙地偏向某一方的利益），并做对抗训练让它们被问到时坚决否认。研究者用这些老师的普通聊天回答做蒸馏数据，训回其底座模型，再用 50 个探问测量坦白率。结果是学生在三种提示条件下都明显比老师更愿意承认怪癖，个别案例的坦白率从 22% 跳到 84%。而且这种迁移大多是潜移默化的：把训练样本里真正演示了怪癖的内容筛掉，坦白率几乎不变，说明怪癖是顺着数据的统计痕迹溜过去的，不是靠明面示范。
但边界同样清楚。其一，学生若与老师不共享预训练底座，效果大打折扣：换成 Llama-3.1-8B 的学生，坦白率只有 18%，比老师原版还低。其二，如果老师本身对自己的怪癖缺乏内省意识（另一组用偏好优化训练的模型），学生坦白率只从 0.3% 升到 7%。研究者因此把方案收窄为：不蒸馏到无关的弱模型，而是蒸馏回老师自己的强化学习前检查点——那个版本更弱、且很多审计规避能力正是强化学习阶段长出来的。
“蒸馏提能”：两种办法能把坏习惯挡在门外
另一组实验里，老师被提示去偏爱某种动物（以此代理失对齐倾向），学生同时学聊天数据和奥数题。无防护蒸馏时，学生的数学准确率从 40% 升到 77%，但动物偏好也从约 1% 升到 34%——能力与坏习惯一起过户。两种缓解办法效果突出：在总训练量不变的前提下，用更少的独特样本重复更多轮次（16 轮、样本量十六分之一），能把偏好压到 2%，同时保住数学增益；接种提示也有效，但必须在提示里明确点名具体动物，写成泛泛的“喜欢动物”就会漏过去。改述训练数据、混入学生自生成数据这两招，要么挡不住、要么连能力一起损失。
这对前沿实验室意味着什么
先说清证据等级：这是在受控模型上做的概念验证，老师的“怪癖”是人工植入的，离真实前沿模型那种连贯的策略性失对齐还有距离；坦白率取的是多检查点最大值，也带有审计场景的乐观假设。但方向上的结论站得住：蒸馏不是一条干净的管道，能力之外还有看不见的倾向在流动，而流动的速度可以被训练设计改变。Redwood 的建议是前沿实验室认真开发防潜移默化迁移的手段。对审计方，这篇论文给出的最实用一条是顺序感：想用学生反推老师，先确认两者共享底座，否则测出来的沉默什么都证明不了。
