Goodfire가 11월 4일 메커니스틱 셰이핑(mechanistic shaping)을 발표했다. 정답을 맞혔는지 여부로만 보상하는 대신, 훈련 목표에 직접 명시한다. 어떤 내부 개념에 의존해도 되고 어떤 개념은 표현해서는 안 되는지. 목표는 모델이 정답을 맞히는 것, 그리고 올바른 이유로 정답을 맞히는 것이다.
두 가지 방법: 의존하지 말 것, 표현하지 말 것
메커니스틱 셰이핑에는 두 가지 방법이 있다. Reliance shaping은 의존에 벌점을 준다. '이 개념에 기대어 판단하지 말라'고 모델에 알리는 것이다. Expression shaping은 표현에 벌점을 준다. '이 개념을 행동으로 드러내지 말라'고 알린다. 절차는 세 단계다. 먼저 해석 가능성 도구를 이용해 바람직하지 않은 개념이 모델 내부에서 향하는 방향을 찾고, 다음으로 손실 함수에 벌점 항을 추가한 뒤, 훈련 도중 개념 방향을 주기적으로 다시 계산한다. 훈련이 진행되면 표상이 이동하기 때문이다. Goodfire는 세 가지 상황에서 이 방법을 검증했다. 흉부 X선 진단 실험에서는 훈련 데이터를 의도적으로 흉관(배액관)이 삽입된 기흉 사례만으로 구성했고, 기준 모델은 예상대로 관만 보는 법을 배웠다. 희소 오토인코더와 LLM 에이전트로 '관' 개념을 자동으로 찾아 reliance shaping을 적용하자 드레인이 없는 사례도 진단할 수 있게 됐고, 성적은 균형 잡힌 데이터로 훈련했을 때의 상한을 웃돌았다.
아부와 보상 해킹은 데이터 선별로는 막을 수 없다
언어 모델 실험은 더 직접적이다. Goodfire는 직접 선호 최적화(DPO)가 모델을 눈에 띄게 아부 잘하는 모델로 만든다는 것을 확인했다. 눈에 보이는 아부 사례가 훈련 데이터의 1% 미만인데도 말이다. 데이터를 걸러내는 것만으로는 거의 효과가 없다. '아부 방향'을 찾아 reliance shaping을 적용하자 7B, 13B, 32B 모든 크기에서 DPO의 능력 향상은 유지된 채 아부 정도는 출발점 가까이로 떨어졌다. 또 다른 실험에서는 expression shaping으로 Qwen3.5-9B에 Countdown 산수 퍼즐을 풀게 하며 채점 규칙의 허점을 파고드는 행동을 억제했다. 논문은 주의점도 남겼다. 내부 표상에 개입하면 모니터링 프로브가 무력해질 수 있고, 개념은 다시 자라나거나, 다시 인코딩되거나, 위치를 옮기거나, 지워질 수 있다. 고무적인 점은 실험에서 셰이핑 이후에도 개념을 계속 모니터링할 수 있었다는 것이다. 다만 프로브를 다시 훈련해야 하는 경우가 많았다.
이것은 아직 연구 방법이지 제품이 아니다. 그 의의는 데이터 정제로는 닿지 않는 빈틈을 메우는 데 있다. 나쁜 행동 중 일부는 데이터와 함께 들어오는 것이 아니라 훈련 중에 자라난다. 그렇다면 훈련 목표 자체에서 고쳐야 한다. Goodfire가 이전에 Baseten과 함께한 Project Beacon은 다른 길을 택했다. 안전 신호를 개방형 모델의 추론 과정에 넣는 방법이다. 메커니스틱 셰이핑은 개입 시점을 훈련 단계로 앞당긴다.
