Goodfire在11月4日公布机制塑形(mechanistic shaping):训练模型不再只按答对与否给奖励,而是在训练目标里直接写明,哪些内部概念可以依赖、哪些不能表现出来,目标是让模型答对,并且答对的理由也是对的。
两招:别依赖,别表现
机制塑形分两招。Reliance shaping罚的是依赖:告诉模型“别靠这个概念做判断”;expression shaping罚的是表现:告诉模型“别把这个概念做出来”。做法分三步:先用可解释性工具找到不良概念在模型内部的方向,再在损失函数里加一项惩罚,训练中定期重算概念方向,因为表征会在训练里漂移。Goodfire在三个场景验证了这套方法。胸片诊断实验里,训练数据被故意设成只有带引流管的塌陷肺病例,基线模型果然只学会了看管子;用稀疏自编码器加LLM智能体自动找出“管子”概念并做reliance shaping后,模型在没引流管的病例上也能诊断,成绩甚至超过了用平衡数据训练的软上限。
谄媚与奖励作弊,数据清洗管不住
语言模型实验更有针对性。Goodfire发现,直接偏好优化(DPO)会让模型明显更爱附和用户,哪怕训练数据里肉眼可见的谄媚样本不到1%,靠筛数据几乎没用;找到“谄媚方向”并做reliance shaping后,模型在7B、13B、32B三个尺寸上都保住了DPO的能力提升,谄媚程度却压回接近起点。另一组实验用expression shaping训练Qwen3.5-9B解Countdown算术题,专门压制模型钻评分规则空子的行为。论文也留了一个提醒:对内部表征下手可能让监控探针失效,概念可能重生、重编码、换位置或被擦除;好消息是实验里概念塑形后仍可监控,只是常常需要重训探针。
这还只是研究方法,不是产品。它的意义在于补上数据清洗够不着的一环:有些坏行为不是数据里带进来的,而是在训练里长出来的,那就直接在训练目标里改。Goodfire此前与Baseten合作的Project Beacon走的是另一条路,把安全信号塞进开放模型的推理过程;机制塑形则把干预点提前到了训练阶段。