추론 최적화

모델 양자화: 왜 4비트와 8비트가 온프레미스 논의에서 항상 언급되는지

모델 정량화는 온프레미스 배포와 효율적인 추론에서 피할 수 없는 키워드입니다. 많은 사람들이 모델 배포 튜토리얼을 읽을 때 8비트, 4비트, AWQ, GPTQ 같은 단어를 접하지만, 그것들이 어떤 문제를 해결하는지 모릅니다. 간단히 말해, 양자화의 핵심은 모델 가중치를...