Humming は2026年10月21日、アントグループと vLLM コミュニティによって vLLM 公式ブログでオープンソース化が発表された、汎用の高性能な量子化推論カーネルライブラリであり、現在 GitHub の vllm-project 組織でホストされている。解こうとしているのは、個々の演算子が遅いことではなく、量子化フォーマットが増えすぎて、フォーマットごとにカーネルを保守しきれなくなったことだ。
量子化の組み合わせ爆発で、個別カーネル開発は回らなくなった
重みと活性化はそれぞれビット幅、数値形式、スケーリング方式が異なる。W4A16、W8A8、W4A8、W4A4 は出発点にすぎず、同じ4ビットでも INT4 と NVFP4 があり、さらにグループサイズ、対称・非対称量子化が重なる。組み合わせが1つ増えるたびに、従来は重みの前処理、カーネル選択、テストをもう一式書く必要があった。Humming は量子化の記述と実行の選択を分離する。各量子化ツールの出力形式をまず標準表現に統一し、層設定・計算設定・チューニング設定の3層で対象 GPU とワークロードに特化したカーネルを組み立て、実行時に JIT コンパイルする。H200 上での単一 W4A16 カーネルのコンパイル時間は CUTLASS の23.35秒から1.82秒に短縮され、チューニング試行のコストがまず1桁下がった。
ベンチマークは倍率の前にベースラインを見る
公開されたマイクロベンチマークでは、密な W4A16 が小バッチで cuBLAS ベースラインの約3〜4倍、大バッチの H200 で vLLM Marlin の約2倍に達し、MoE のグループパスは B300 の一部ケースで約5倍になった。W8A8 は H20 と H200 で DeepGEMM の対応実装の約2.6倍と2.5倍だ。エンドツーエンドのテストはさらに分かりやすい。8台の H20 で DeepSeek-V4.1-Flash を提供し、MoE 実行を Marlin W4A16 から Humming W4A8 に切り替えると、全体のスループットが14%〜43%向上し、最初のトークンまでの時間は25%〜32%短縮され、同時実行64では出力速度が毎秒442トークンから634トークンに上がった。いずれも公式ブログの自社測定環境の数字であり、ハードウェアやモデルが変われば幅は変動するが、方向は一貫している。低精度の重みが持つストレージ面の利点が、カーネルによって実際の速度へ換金されつつある。
導入の敷居：vLLM 0.29 から同梱
Humming は NVIDIA の Turing 以降の全アーキテクチャに対応し、平頭哥の真武 810E のような CUDA 互換デバイスもサポートする。インストールパッケージは約500KBしかない。コンパイル済みカーネルを同梱せず、必要に応じて生成するためだ。vLLM 0.29.0 以降、CUDA インストールには Humming が依存関係として含まれ、起動時に --linear-backend humming と --moe-backend humming を指定すれば有効化できる。留保すべき境界もある。現在のチューニングはデバイスのヒューリスティクスに依存し、自動チューニングは今後の計画に挙がっている段階だ。推論コストに敏感で、複数フォーマットのモデルに振り回されているチームなら、今すぐ評価対象に入れる価値がある。本サイトで以前紹介した DeepSeek のオープンソース推論フレームワーク DeepInfer と同様、こうした基盤のオープンソース化は、結局のところ長期の運用コストをめぐる勝負である。
