Goodfire a publié le façonnage mécaniste (mechanistic shaping) le 4 novembre : au lieu de récompenser les modèles seulement quand ils donnent la bonne réponse, l'objectif d'entraînement indique désormais directement sur quels concepts internes un modèle peut s'appuyer et lesquels il ne doit pas exprimer — l'idée étant qu'il donne la bonne réponse, et pour les bonnes raisons.
Deux leviers : ne pas s'en servir, ne pas l'exprimer
Le façonnage mécaniste se décline en deux leviers. Le reliance shaping pénalise la dépendance : il dit au modèle de ne pas fonder son jugement sur ce concept. L'expression shaping pénalise l'expression : il dit au modèle de ne pas manifester ce concept. La recette comporte trois étapes : d'abord, des outils d'interprétabilité repèrent la direction d'un concept indésirable à l'intérieur du modèle, puis un terme de pénalité est ajouté à la fonction de perte, et la direction du concept est recalculée périodiquement pendant l'entraînement, car les représentations dérivent au fil de l'apprentissage. Goodfire a testé l'approche dans trois situations. Dans une expérience de diagnostic sur radiographies thoraciques, les données d'entraînement ne contenaient délibérément que des cas de pneumothorax avec drain thoracique, et le modèle de référence a, comme prévu, appris à ne regarder que le tube. Après qu'un agent LLM utilisant un auto-encodeur clairsemé a repéré automatiquement le concept de tube et que le reliance shaping a été appliqué, le modèle pouvait aussi diagnostiquer les cas sans drain — avec un score dépassant même le plafond souple d'un entraînement sur des données équilibrées.
La flatterie et le contournement de la récompense échappent au filtrage des données
Les expériences sur les modèles de langage sont plus ciblées encore. Goodfire a constaté que l'optimisation directe des préférences (DPO) rend les modèles nettement plus flatteurs, même quand les exemples visiblement flatteurs représentent moins de 1 % des données d'entraînement — filtrer les données n'aide presque pas. Après avoir repéré la direction de la flatterie et appliqué le reliance shaping, les modèles de 7B, 13B et 32B ont conservé les gains de capacité de la DPO, tandis que la flatterie retombait près du niveau de départ. Une autre expérience a utilisé l'expression shaping pour entraîner Qwen3.5-9B sur des casse-tête arithmétiques Countdown, en supprimant spécifiquement les comportements qui exploitent les failles des règles de notation. L'article comporte aussi un avertissement : intervenir sur les représentations internes peut rendre les sondes de surveillance inefficaces, car les concepts peuvent repousser, se ré-encoder, changer de place ou être effacés. Le point encourageant est que, dans les expériences, les concepts restaient surveillables après le façonnage — même s'il fallait souvent réentraîner les sondes.
C'est encore une méthode de recherche, pas un produit. Son intérêt est de combler une lacune que le nettoyage des données ne peut pas atteindre : certains mauvais comportements ne sont pas importés avec les données, mais se développent pendant l'entraînement — il faut donc les corriger dans l'objectif d'entraînement lui-même. Le Project Beacon mené précédemment par Goodfire avec Baseten avait pris une autre voie, en intégrant des signaux de sécurité dans l'inférence des modèles ouverts ; le façonnage mécaniste avance le point d'intervention vers la phase d'entraînement.
