LLM 추론 최적화

연속 배치는 스케줄 단위를 생성 한 단계로 줄이고, 추측 디코딩은 작은 모델의 초안을 큰 모델이 한 번에 검증합니다. KV 캐시는 어텐션 상태를 재사용하고, 컨텍스트 캐시는 되풀이 보내는 긴 문서의 결과를 남깁니다. MoE는 소수 전문가만 깨우고, Kimi Linear는 백만 컨텍스트의 KV 캐시를 약 75% 줄입니다. 효과는 작업에 따라 달라 코드는 긴 초안에 맞지만 창작은 그렇지 않습니다.