稀疏电路中注意力头与残差通道角色

从黑箱到电路图：OpenAI 用权重稀疏 Transformer 提升神经网络可解释性

2025 年 11 月 13 日，OpenAI 发布研究与论文《Understanding neural networks through sparse circuits》，提出通过“权重稀疏 Transformer”来提高神经网络的机械可解释性。与事后在致密网络中“解纠缠”不同，这项工作直接在训练...