要求の並べ方を変えるだけで、同じ GPU の処理量は数倍変わります。連続バッチ処理、投機的デコード、KV キャッシュ、コンテキストキャッシュがそれぞれどの段階の負荷を減らすのか、カーネルライブラリやスパース構造でどこまで詰められるのかを整理します。
連続バッチ処理は、大規模モデルのサーバー側で行われる動的スケジューリング手法です。システムは同じバッチ内のすべてのリクエストが生成されるのを待つことなく、次のバッチを置き換えます。代わりに、各生成ステップが終了した後に完了したリクエストを削除し、新しいリクエストを追加します。 主にGPU利用率と全体...
推測的復号は大規模モデル推論加速手法です。まず、より軽量で高速なドラフトモデルが複数の候補トークンを連続して提案し、その後ターゲットの大規模モデルが並列チェックを行います。候補が受け入れられると、ターゲットモデルは単一の順位計算で複数の順位を前進させることができます。未確定な部分はターゲットモデルに...
コンテキストキャッシュとは、モデルに繰り返し送信されるコンテキストをキャッシュし、その後のリクエストをできるだけ再利用することであり、毎回再処理するのを避けます。 最近熱くなっているのは、非常に現実的な理由があります。長期コンテキストの製品が増えているにもかかわらず、誰も同じ大きな文書やルール、コー...
Mixture of Experts(MoE)は「毎回全体を組み立てるわけではない」モデルアーキテクチャです。 最も重要な特徴は、モデルの一部層が複数のエキスパートモジュールに分割され、ルーターが現在のトークンに割り当てるべきエキスパートを決定することです。 このようにして、モデルの総パラメータを非...
KVキャッシュは、トランスフォーマーの推論段階における非常に重要なキャッシュ層です。 簡単に言えば、モデルがすでに計算したキーや値を最初に保存し、生成を続けるたびに直接再利用し、毎回一から再計算するのではなく、 そのため、KVキャッシュは長い会話、長い文脈、推論速度に関してほぼ常に存在します。 なぜ...
スパースアテンションは単純に、各トークンがすべてのトークンを見るのではなく、選択的に一部のトークンだけを見るということです。 この用語は、長い文脈と推論コストの議論で繰り返し登場します。なぜなら、標準的な全注意は強力ですが、文脈が特に長くなると計算コストやビデオメモリのコストが急速に増加するためです...
1. 要旨 HPC-Opsは、騰訊のHunyuan AI Infraチームによるオープンソースの実用グレードLLM推論オペレーターライブラリであり、主流の推論カード(特にNVIDIA Hopper/SM90、例えばH20)をハードウェアの利用率に近づけることを目的としています。 このプロジェクトは、...
Moonshot AIは、Kimi Linearの技術レポートとオープンウェイトの公開を発表しました。このレポートでは、その中核コンポーネントであるKimi Delta Attention（KDA）線形アテンションモジュールと、線形アテンションとフルアテンション（MLA）を組み合わせた階層型ハイブリ...
