Kimi K3 の AMD Instinct MI355X 上での推論最適化は、vLLM 公式ブログが 2026 年 10 月 16 日に公開した技術解説の成果です。AgentX のエージェント負荷において、vLLM で動作する8基の MI355X システムは、GPU あたり毎秒総トークン数で NVIDIA HGX B300 を 24.4% 上回り、報告が採用したコストモデルでは1ドルあたりトークン数が 87.4% 多くなりました。データは SemiAnalysis の InferenceX 公開曲線に基づき、ベンチマークのスナップショットは 2026 年 10 月 9 日時点です。
まず比較の物差しを確認する
比較条件は、ユーザーあたり毎秒50トークンの P90 応答速度におけるもので、MI355X が約7567トークン/秒/GPU、B300 が約6083です。両チップともメモリは 288GB HBM3E、ピーク帯域は 8TB/s でそろい、ピーク演算性能は B300 の方が高いため、差はハードの仕様ではなくソフトウェアスタックから生まれています。AgentX は実際のコーディングエージェントのセッション軌跡を再生し、理論上の接頭辞再利用率は 96% を超えます。まさにこの最適化が効く条件であり、再利用のない短いリクエスト負荷へ結論をそのまま持ち込むことはできません。
最適化は3か所の重複を削った
1つ目はキャッシュです。従来は各 GPU が MLA の履歴を丸ごと保持していましたが、8ウェイのデコード文脈並列により各カードは8分の1だけを保持し、142000トークンの会話のキャッシュ占有は約1.96GBから約245MBへ減り、収まらない状態はホストメモリへ退避されます。2つ目は MoE の計算で、ルーティング専門家の出力射影は従来8枚のカードで8回重複計算されていましたが、座標を分割して各カードが自分の分だけを計算し、既存の全還元で完全な結果を組み直します。3つ目はカーネルの融合と無駄なコピーの除去で、デコード1ステップあたり69回の不要なコピーが消え、複数の直列カーネルが単一の起動に統合されました。
導入判断にとっての意味
この結果の意味は、1回のベンチマーク勝利ではなく、同じモデルでもチップ基盤が変われば推論フレームワークの最適化の深さが費用対効果の順位を書き換えうることを示した点にあります。報告のコストモデルは GPU 時間単価を MI355X 1.50ドル、B300 2.26ドルとしており、単価差とスループット差が重なって1ドルあたりトークン数で 87.4% の差になりました。実際の調達ではクラウド価格、供給、自社のキャッシュ命中率が別途効きます。エージェントサービス向けにハードを選ぶチームが持ち帰るべき行動は具体的です。まず自社のセッション軌跡で接頭辞再利用率を測り、その上でスタック全体のスループットを比べることであり、チップのピーク値表だけを見ることではありません。
