투기적 디코딩(Speculative Decoding)은 대형 모델의 텍스트 생성을 빠르게 만드는 방법입니다. 훨씬 작은 초안 모델이 다음 몇 개의 토큰을 먼저 추측하면, 대형 모델이 그 추측을 한 번의 병렬 연산으로 한꺼번에 검사합니다. 맞은 것은 그대로 채택하고, 처음 틀린 위치에서 고칩니다. 바꾸는 것은 생성 순서와 연산 배분 방식일 뿐 대형 모델 자체가 아니므로, 표준 구현에서는 최종 출력 분포가 대형 모델이 토큰 단위로 생성한 결과와 일치합니다. 품질 저하 없이 빨라지는 셈입니다.
토큰 단위 생성이 느린 이유
대형 모델은 토큰 하나를 만들 때마다 모델 전체를 한 번씩 실행합니다. 문제는 토큰 하나를 생성할 때 시간을 잡아먹는 것이 연산 자체가 아니라 방대한 파라미터를 메모리에서 읽어 오는 작업이라는 점입니다. 하드웨어는 대부분의 시간을 데이터 대기에 쓰며 놀고 있습니다. 파라미터를 한 번 읽을 때마다 토큰 하나만 얻는 것이 낭비의 원인입니다.
추측하는 쪽과 검증하는 쪽
과정은 두 단계입니다. 먼저 초안 모델(보통 대상 모델의 수십 분의 일 크기)이 후보 토큰 4~8개를 한 번에 이어 씁니다. 다음으로 대형 모델이 맥락과 후보를 함께 병렬로 계산하며 각 위치에서 자신의 확률 분포와 비교합니다. 추측이 맞으면 전부 채택하고, 처음 틀린 위치에서는 대형 모델 자신의 분포로 다시 샘플링한 뒤 나머지 후보를 버리고 그 지점에서 다음 라운드를 시작합니다. 검증이 한 번의 병렬 연산으로 끝나므로 파라미터를 한 번 읽어 여러 토큰을 확인할 수 있습니다.
실제 속도 향상은 초안 모델의 적중률에 달려 있습니다. 코드 자동 완성, 형식이 정해진 답변, 맥락을 충실히 따르는 이어쓰기처럼 예측 가능한 텍스트는 채택률이 높아 보통 2~3배 빨라집니다. 예측이 어려운 텍스트는 탈락이 잦아 효과가 줄어듭니다.
양자화, 증류와는 다릅니다
혼동하기 쉬운 두 기법과 구분해 둡시다. 양자화는 파라미터를 낮은 정밀도로 저장하는 방법으로, 모델은 작아지지만 출력 품질이 미세하게 달라집니다. 증류는 작은 모델이 큰 모델의 출력을 배우는 방식으로, 배포되는 것은 학생 모델 자체라 능력의 상한도 함께 낮아집니다. 투기적 디코딩에서 작은 모델은 초안만 담당하고 최종 결정은 항상 대형 모델이 내리므로 무손실 가속입니다. 대가는 두 모델을 동시에 운영해야 한다는 점으로, 메모리가 더 들고 정렬 관계를 유지해야 합니다.
도움이 안 되는 경우
초안 모델과 대상 모델의 성향이 너무 다르면 채택률이 거의 0에 가까워져 속도 이득이 사라집니다. 그래서 실무에서는 같은 계열의 작은 버전이나 전용으로 훈련한 초안 헤드를 씁니다. 동시 요청이 많아 GPU 연산 자체가 포화한 상황에서도 병목이 메모리 읽기가 아니게 되므로 효과가 줄어듭니다. 주로 단일 사용자나 낮은 동시성 환경에서 빛납니다. 또 첫 토큰이 나오기까지의 대기는 줄여 주지 못합니다. 빨라지는 것은 그 이후입니다.
로컬 배포 도구에서 보이는 초안 모델, 투기적 샘플링 옵션, vLLM 같은 서빙 프레임워크의 동종 스위치는 모두 이 추측 후 검증 구조로 동작합니다. 조정할 때 기억할 것은 하나입니다. 초안 모델은 본 모델과 같은 계열의 작은 버전을 고르고, 추측 길이를 욕심내지 마세요. 보폭보다 채택률이 중요합니다.
