LLM 推論最適化

連続バッチ処理は単位を生成一步に縮め、投機的デコードは小さなモデルの下書きを大きなモデルがまとめて検証します。KV キャッシュは注意状態を再利用し、コンテキストキャッシュは繰り返し送る長文の結果を保持します。MoE は少数の専門家だけを動かし、Kimi Linear は百万コンテキストの KV キャッシュを約 75% 削ります。効果は用途次第で、コードは長い下書きに向き、自由な創作はそうでもありません。