지식 증류(Knowledge Distillation)는 거대 모델의 '다크 지식'을 작은 모델에게 전달하는 기술이다. 먼저 거대한 교사 모델이 참조 출력을 생성하게 하고, 훨씬 작은 학생 모델이 그 출력을 학습하게 함으로써 작으면서도 쓸 만한 모델을 만들어 낸다.
선생이 실제로 전수하는 것: 소프트 라벨 속 다크 지식
일반 학습은 모델에게 '정답은 A'라고만 알려주지만, 교사 모델이 학생에게 건네는 것은 답만이 아니다. 각 선택지에 대한 확률 점수라는 완전한 '망설임의 기록'도 함께 건넨다. 이 확률 분포를 소프트 라벨이라 하며, '고양이는 책상보다 호랑이와 더 닮았다' 같은 구조적 상식이 암묵적으로 담겨 있다. 이 분포를 모방하면서 학생 모델이 배우는 것은 단일 정답이 아니라 선생의 판단 방식 그 자체다. 다크 지식은 학습 데이터 라벨에는 적혀 있지 않으면서도 모델의 확률 속에 숨어 있는 이런 정보를 말한다.
온도 파라미터: 선생의 설명 정밀도를 조절한다
증류에서는 소프트 라벨의 부드러움을 조절하기 위해 온도 파라미터가 흔히 쓰인다. 온도가 높을수록 확률 분포는 평탄해지고, 학생은 선생의 각 선택지에 대한 미세한 차이를 더 또렷이 볼 수 있다. 온도가 낮을수록 분포는 뾰족해져 일반 하드 라벨에 가까워진다. 온도를 조정한다는 것은 '선생이 얼마나 세밀하게 설명할지'를 제어하는 일이다. 너무 거칠면 구조를 배우지 못하고, 너무 세밀하면 노이즈가 섞인다. 실무에서 온도는 시행착오로 찾는 하이퍼파라미터이며, 만능의 값은 존재하지 않는다.
손실 함수: 학생은 두 과목을 동시에 듣는다
학생 모델의 학습 목표는 보통 두 부분으로 구성된다. 하나는 소프트 라벨에 맞춰 선생의 확률 분포를 모방하는 것이고, 다른 하나는 실제 라벨에 맞춰 기본적인 정확도를 보장하는 것으로, 둘은 가중치 계수로 균형을 맞춘다. 선생 말만 들으면 선생의 실수까지 그대로 복사하고, 하드 라벨만 보면 다크 지식은 배우지 못한다. 발전된 방식은 중간층의 특징 표현까지 정렬해 학생이 결론뿐 아니라 사고 과정까지 배우게 한다.
천장 효과: 학생이 선생을 뛰어넘기는 어렵다
증류에는 엄격한 경계가 있다. 학생의 능력 상한은 거의 예외 없이 교사 모델에 묶여 있다. 선생이 잘못 판단한 지점에서는 학생도 높은 확률로 따라 틀리고, 모방 과정에서 선생 능력의 일부가 손실되기도 한다. 증류의 본질은 '손실이 있는 계승'이지 '청출어람'이 아니다. 수십억 파라미터의 작은 모델이 증류를 통해 종합 능력에서 수백억 파라미터의 선생을 역전하기를 기대하는 것은 실제 경험에 맞지 않는다.
흔한 두 가지 오해
첫째, '증류는 압축 복사에 불과하다'는 오해다. 압축은 결과일 뿐, 증류의 핵심은 지식 전이이다. 선생은 확률 분포 속 구조 지식을 넘겨주고, 학생은 새로운 의사결정 방식을 배운다. 둘째, '증류하면 작은 모델이 거대 모델만큼 강해진다'는 오해다. 증류가 추구하는 것은 '쓸 만함'이다. 스마트폰·엣지 기기처럼 연산 자원이 제한된 환경에서 최소한의 크기로 선생에 근접한 성능을 얻는 것이지, 선생의 능력을 온전히 복제하는 것이 아니다.
