증류

모델 디스틸레이션: 왜 점점 더 많은 '작은 모델'이 대형 모델 경험을 따라잡을 수 있는지

모델 증류는 지난 2년간 자주 언급된 키워드로, 특히 "왜 작은 모델이 강해지는가"라는 질문에서 거의 항상 등장합니다. 간단히 말해, 디스틸레이션의 아이디어는 작은 학생 모델이 더 큰 교사 모델로부터 배우고, 교사의 능력, 행동, 출력 패턴 일부를 이전하여 더 낮은 비...