LLM 추론 최적화
요청을 묶는 방식만 바꿔도 같은 GPU의 처리량이 몇 배 달라집니다. 연속 배치, 추측 디코딩, KV 캐시, 컨텍스트 캐시가 각각 어느 구간의 비용을 줄이는지, 커널 라이브러리와 희소 구조로 어디까지 당길 수 있는지 정리합니다.
연속 배치는 스케줄 단위를 생성 한 단계로 줄이고, 추측 디코딩은 작은 모델의 초안을 큰 모델이 한 번에 검증합니다. KV 캐시는 어텐션 상태를 재사용하고, 컨텍스트 캐시는 되풀이 보내는 긴 문서의 결과를 남깁니다. MoE는 소수 전문가만 깨우고, Kimi Linear는 백만 컨텍스트의 KV 캐시를 약 75% 줄입니다. 효과는 작업에 따라 달라 코드는 긴 초안에 맞지만 창작은 그렇지 않습니다.
