사후 훈련이란 대규모 사전 학습을 완료한 후 추가 훈련 단계를 통해 모델이 목표 과제에 더 유용하고 안정적이며 정렬되는 과정을 의미합니다. 많은 사람들이 모델이 강한지 여부에 대해 언급하고, 처음에는 사전 학습 데이터의 양과 매개변수의 규모에 집중하지만, 이제 업계는 점점 더 명확히 인식하고 있습니다. 실제로 '지식을 암기하는 것'이 '좋은 일을 할 수 있는 능력'으로 전환되는 경우가 종종 사후 학습이라는 점입니다.
사전 학습은 기초를 다지는 것과 같아, 모델이 언어 패턴, 지식 분포, 세계 연관성을 학습할 수 있게 합니다; 훈련 후 단계는 장식과 조정에 가깝습니다. 어떻게 대답할지, 언제 거절할지, 인간의 선호에 더 가까워지는지, 특정 작업을 어떻게 수행할지 알려줍니다. 이 때문에 사용자가 최종적으로 느끼는 차이는 두 모델에서 매우 클 수 있으며, 이는 여러 번 훈련 후 학습에서 발생합니다.
포스트 트레이닝을 하는 방법은 정해져 있지 않습니다. 가장 일반적인 방법은 모델이 고품질 예제를 학습할 수 있도록 하는 지도 기반 미세 조정(supervised fine-tune)입니다; 선호 최적화를 통해 모델이 인간이 선호하는 답변에 더 가깝게 만들기; 그리고 추론, 도구 호출, 보안 경계에 관한 특별 교육도 포함합니다. 추론 모델이 인기를 끌면서 RLHF와 RLVR이라는 단어가 자주 등장했는데, 이는 본질적으로 훈련 후 학습 범주에서 서로 다른 경로입니다.
왜 요금은 모두가 이렇게까지 주목하는 걸까요? 대형 모델들의 경쟁은 더 이상 '누가 더 많은 코퍼스를 먹는가'가 아니기 때문입니다. 사전 훈련은 점점 더 비용이 많이 들고, 점점 더 자원 전쟁에 가까워지고 있다; 그 후 교육은 제품 경험을 직접 결정합니다. 사용자가 안정성을 인지하는지, 순종적인지, 도구를 부를 수 있는지, 여러 단계로 추론할 수 있는지, 맹목적으로 만회할 수 있는지 여부 등은 기본 매개변수에서 한눈에 볼 수 없으며, 훈련 후 결과입니다.
하지만 훈련 후 과정에는 대가도 따릅니다. 이는 타겟 편향을 도입합니다. 보안이 강화되었고, 모델이 더 보수적일 수도 있습니다; 코드나 수학을 강화하면 일반적인 채팅 스타일이 바뀔 수 있습니다; 모델을 더 '사고'하게 만들기 위해 더 높은 추론 비용을 지불할 수도 있습니다. 따라서 훈련 후 교육은 많을수록 좋다는 문제가 아니라, 목표가 명확한지, 데이터가 깨끗한지, 그리고 평가가 이를 잘 따라갈 수 있는지에 관한 것입니다.
또 다른 흔한 오해는 사후 훈련을 '모델에 지식을 보완하는 것'으로 이해하는 것입니다. 분명히 역량 증가로 이어질 수는 있지만, 핵심 역할은 사실 기반을 확장하는 것이 아니라 행동을 조정하는 데 있는 경우가 많습니다. 이 기술은 모델이 답변을 어떻게 조직하고, 절충하며, 경계 상황에 직면하는지를 결정합니다. 즉, 단순한 메모리 애드온이라기보다는 행동 형성에 더 가깝습니다.
오늘날 많은 모델들이 출시될 때 포스트 트레이닝을 더 강조하기 시작하는데, 이는 업계의 초점이 바뀌었음을 보여줍니다. 이제 모두가 단지 큰 기반을 가진 사람만 보는 것이 아니라, 누가 그 기지를 진정으로 사용 가능하고 통제 가능하며 온라인 시스템으로 만들 수 있는지에 더 집중합니다. 이 때문에 많은 모델들이 훈련 전 단계가 아니라 훈련 후 단계에서 격차를 크게 벌립니다.
