Goodfireは11月4日、メカニスティック・シェーピング（mechanistic shaping）を発表した。答えが合っているかどうかだけで報酬を与えるのではなく、訓練の目的関数に直接書き込む。どの内部概念に頼ってよく、どの概念を表に出してはいけないか。その狙いは、正解することと、正しい理由で正解することを両立させることだ。
二つの手立て：頼るな、表に出すな
メカニスティック・シェーピングには二つの手立てがある。Reliance shapingは依存に罰を与える。「この概念に頼って判断するな」とモデルに伝える。Expression shapingは表出に罰を与える。「この概念をふるまいに出すな」と伝える。手順は三段階だ。まず解釈性ツールで、望ましくない概念がモデルの内部で向いている方向を見つける。次に損失関数にペナルティ項を加える。そして訓練中に概念の方向を定期的に再計算する。訓練が進むと表現は漂うからだ。Goodfireは三つの場面でこの手法を検証した。胸部X線の診断実験では、訓練データをあえてドレーン（胸腔チューブ）が入った気胸の症例だけに絞った。ベースラインモデルは案の定、管だけを見るようになった。スパースオートエンコーダとLLMエージェントで「管」の概念を自動で見つけ、reliance shapingをかけると、ドレーンのない症例でも診断できるようになり、成績はバランスの取れたデータで訓練した場合のソフトな上限をも上回った。
おべっかと報酬ハッキングは、データの選別では防げない
言語モデルの実験はさらに的を絞っている。Goodfireは、直接選好最適化（DPO）がモデルをおべっか上手にすると確認した。目に見えておべっかな例が訓練データの1％未満しかなくても、だ。データを選別してもほとんど効果はない。「おべっか方向」を見つけてreliance shapingをかけると、7B、13B、32BのいずれのサイズでもDPOによる能力向上は保たれたまま、おべっかの程度は出発点近くまで下がった。別の実験では、expression shapingでQwen3.5-9BにCountdownの算数パズルを解かせ、採点ルールの抜け穴を突くふるまいを抑えた。論文は注意点も残している。内部表現に手を加えると監視用のプローブが効かなくなるおそれがあり、概念は再生したり、再符号化されたり、場所を移したり、消されたりする。励みになるのは、実験ではシェーピング後も概念は監視可能だったことだ。ただしプローブを訓練し直す必要がある場合が多かった。
これはまだ研究手法であって、製品ではない。その意義は、データのクリーニングでは届かない穴を埋めることにある。悪いふるまいの中には、データと一緒に持ち込まれるのではなく、訓練の中で育つものがある。ならば訓練の目的関数そのもので直す。Goodfireが以前Basetenと組んだProject Beaconは別の道を取った。安全信号をオープンモデルの推論に組み込む方法だ。メカニスティック・シェーピングは介入の時点を訓練段階へと前倒しする。
