명백한 존재

KV 캐시란 무엇인가요? 왜 대형 모델 추론 가속화와 긴 대화의 비용에 대해 항상 언급하나요?

KV 캐시는 트랜스포머의 추론 단계에서 매우 중요한 캐싱 메커니즘 계층입니다. 간단히 말해, 모델이 이미 계산한 키와 값 중 일부를 먼저 저장한 뒤, 매번 처음부터 다시 계산하는 대신 생성 시 직접 재사용합니다. 이 때문에 KV 캐시는 긴 대화, 긴 맥락, 추론 속도에...