vLLM v0.32.0 は 2026 年 10 月 18 日に公開され、vLLM プロジェクトが GitHub で公開したこの版には 363 人の貢献者による 814 件のコミットが含まれ、うち 121 人が初参加だった。オープンウェイトモデルを自前で運用するチームにとって注目点は新モデル一覧ではなく、低精度 KV キャッシュの対応が旧世代 GPU に広がったことと、慣れた既定動作のいくつかが明確に変更されたことだ。変更点を確認せずに更新すると、動いていた環境が壊れる可能性がある。
生成ではなく判断に答える新エンドポイント
新設の POST /v1/systemone エンドポイントは既定で有効になり、与えられた状態に対する choice、noul、score といった構造化された判断に答える。どの選択肢を選ぶか、主張が成り立つか、結果に何点付けるか、といった問いだ。従来はプロンプトで出力形式を誘導し、自前で解析していた処理を、推論レイヤーが正式なインターフェースとして扱うようになった。汎用の hf パーサーはモデルのチェックポイントに同梱された response_template を直接読むため、テンプレートを持つ新モデルにはモデルごとのツール呼び出し解析が不要になり、導入時の細かな適合作業が減る。
KV キャッシュの損得：メモリ半減の代金は初回トークンの待ち時間
長文脈と高同時実行で最初にぶつかる壁はメモリであり、この版の力の大半はここに注がれた。NVFP4 形式の KV キャッシュが SM8x、SM12x、SM90 に対応し、旧世代のカードでも低精度キャッシュでメモリを空けられる。GLM-5.x は SM100 で FP8 KV キャッシュが既定になり、カード当たりの KV メモリは半減し、スループットは 2.3% から 5.5% 上がる一方、初回トークンまでの時間は 7% から 11% 悪化する。SM90 では fp8_ds_mla により GLM-5.3-Flash の出力スループットが最大 31% 増えた。メモリは戻ってくるが、最初の文字を待つ時間は少し長くなる、という取引が明記されている。推論の低レイヤー最適化は今年続くテーマで、Kimi K3 が AMD チップで B300 を上回った際の vLLM 最適化も同じ流れにある。
新モデル、短いリクエストの処理能力、セキュリティ修正
新たに対応したモデルは、Google のマルチモーダル埋め込みモデル EmbeddingGemma 2、MiniCPM-V 4.7、NVIDIA のストリーミング音声認識モデル Nemotron 3.5 ASR。サービング側では複数の API プロセスへのリクエストが最も空いているプロセスへ送られるようになり、プロジェクトのベンチマークでは短いリクエストの処理能力が 43% から 85% 増えた。ただし入力 32 トークン、出力 1 トークンという極端に短い条件であり、通常の負荷で同じ数字は期待できない。セキュリティでは、チャットテンプレートの資源枯渇、tokenizer のパラメータ、P2P 通信に関する 3 件の脆弱性が修正され、クロスオリジンアクセスの既定は全許可から制限へ変わり、信頼できない画像はラスタ形式のみ受け付けるようになった。
更新前に確認したい 3 つの破壊的変更
新機能より先に効いてくるのは破壊的変更の方だ。Python 3.10 のサポートが終了し、その環境では更新自体が失敗する。クロスオリジンの既定が厳しくなったため、ブラウザから推論 API を直接呼ぶフロントエンドは、許可するオリジンを明示するまで動かなくなる。カスケードアテンションは削除され、transformers の対応範囲は 5.16.1 から 5.20.0 の間に狭まった。本番環境ではまずテスト環境でこの 3 点を確認し、そのうえで KV キャッシュの新しい既定値が自前の負荷で得になるか測るのが堅実だ。初回トークンの代償は、自分のリクエスト分布でしか正確に測れない。
