LLM 推論最適化
要求の並べ方を変えるだけで、同じ GPU の処理量は数倍変わります。連続バッチ処理、投機的デコード、KV キャッシュ、コンテキストキャッシュがそれぞれどの段階の負荷を減らすのか、カーネルライブラリやスパース構造でどこまで詰められるのかを整理します。
連続バッチ処理は単位を生成一步に縮め、投機的デコードは小さなモデルの下書きを大きなモデルがまとめて検証します。KV キャッシュは注意状態を再利用し、コンテキストキャッシュは繰り返し送る長文の結果を保持します。MoE は少数の専門家だけを動かし、Kimi Linear は百万コンテキストの KV キャッシュを約 75% 削ります。効果は用途次第で、コードは長い下書きに向き、自由な創作はそうでもありません。
