모델 양자화는 모델의 파라미터에 쓰이는 고정밀 숫자를 저정밀 숫자로 바꾸는 것으로, 예를 들어 32비트 부동소수점을 8비트 정수나 8비트 부동소수점으로 바꾸어 모델 크기를 줄이고 VRAM과 메모리 사용량을 낮춤으로써, 스마트폰과 일반 노트북에서도 원래는 담지 못했던 대형 모델을 실행할 수 있게 합니다. 모델 구조를 바꾸지 않고 숫자의 표현 정밀도만 바꾸며, 약간의 정밀도를 속도 및 크기와 맞바꾸는 근사 방법입니다.
양자화가 실제로 압축하는 것
양자화가 주로 압축하는 것은 가중치, 즉 학습이 끝난 뒤 저장되는 파라미터입니다. 학습 시 흔히 쓰이는 32비트 부동소수점은 파라미터당 4바이트를 차지하지만, 8비트 정수로 바꾸면 1바이트만 차지해 크기가 원래의 4분의 1 정도로 줄어듭니다. 활성화 값도 양자화할 수 있지만 더 민감해서 너무 세게 압축하면 추론 중간 단계에서 오차가 먼저 커지기 쉽습니다. 흔한 방식은 두 가지입니다. 학습 후 양자화는 학습된 모델을 바로 형식을 변환하는 것으로 간편하지만 정밀도 손실을 제어하기 어렵고, 양자화 인지 학습은 학습이나 미세 조정 단계에서부터 모델이 저정밀에 적응하게 해 효과가 더 안정적이지만 한 번 더 학습해야 하는 대가가 따릅니다. 일부 구현에서는 특히 민감한 층은 고정밀 그대로 두고 민감하지 않은 부분만 압축하기도 합니다.
압축하면 멍청해지는지, 어떻게 판단할 것인가
멍청해지는지는 작업과 압축 정도에 달려 있습니다. 8비트 양자화는 일상 대화, 요약, 분류에 미치는 영향이 보통 매우 작아 사용하면서 차이를 느끼지 못하는 사람이 많습니다. 4비트 이하로 압축하면 수학 추론, 긴 코드, 다단계 추론에서 먼저 문제가 생기기 쉽습니다. 판단할 때는 크기만 봐서는 안 되며, 두 가지를 봐야 합니다. 같은 작업에서 양자화 버전과 원본 버전의 실측 점수가 얼마나 차이 나는지, 그리고 자신의 실제 입력에서 명백한 성능 저하가 있는지를 봐야 합니다. 같은 모델에도 여러 양자화 버전이 있는 경우가 많으므로, 선택할 때는 먼저 양자화 방법과 비트 폭을 보고, 다음으로 평가 결과와 사용자 피드백을 보고, 파일이 가장 작은 것만 보고 고르지 마세요.
양자화 버전을 바로 쓰지 말아야 할 경우
VRAM과 메모리가 원래 충분하고 결과를 최대한 정확하게 해야 한다면 원본을 먼저 사용하세요. 정확한 수치 계산, 다단계 추론, 고위험 콘텐츠를 다룰 때도 양자화 버전을 최종 답으로 바로 쓰지 마세요. 양자화 버전은 기기가 제한적이고, 오프라인으로 실행해야 하며, 지연과 비용이 우선이고, 결과를 사람이 검토하거나 오류를 용인할 수 있는 상황에 가장 적합합니다. 경계 하나를 기억하세요. 양자화는 가지치기도 아니고 증류도 아닙니다. 파라미터를 삭제하지도, 작은 모델로 바꾸지도 않으며, 숫자를 더 저렴하게 기록할 뿐입니다. 모델이 내용을 잘못 기억하는 문제는 양자화 자체로 고칠 수 없습니다.
