모델 샘플링
거대 언어모델이 다음 토큰을 선택하는 샘플링 원리를 설명한다. Temperature와 top-p, top-k 같은 매개변수가 답변의 다양성과 안정성에 어떤 영향을 주는지 살펴보고, 용도에 맞는 설정 기준을 정리한다.
모델 샘플링은 언어모델 확률 분포를 단어로 바꾸는 과정이다. Temperature는 분포의 기울기를 조절하고, top-p와 top-k는 후보 범위를 정하며, 반복 패널티는 장황한 출력을 억제한다. 이 주제는 Temperature, top-p, top-k, 반복 패널티의 원리와 절충점을 다룬다. 바뀌는 것은 "단어 선택"이지 지식이 아니다. 잘 조정하면 같은 모델이 정확한 답변과 창작을 오갈 수 있다.
