Humming wurde am 21. Oktober 2026 von der Ant Group und der vLLM-Community im offiziellen vLLM-Blog als Open Source angekündigt. Es ist eine universelle, leistungsstarke Kernel-Bibliothek für quantisierte Inferenz und wird inzwischen unter der Organisation vllm-project auf GitHub gehostet. Das Problem, das sie angeht, ist nicht ein einzelner zu langsamer Operator, sondern die Vielzahl an Quantisierungsformaten, die sich nicht mehr einzeln pflegen lässt.
Die Quantisierungsmatrix ist explodiert – handgeschriebene Kernel skalieren nicht mehr
Gewichte und Aktivierungen unterscheiden sich jeweils in Bitbreite, Zahlenformat und Skalierung: W4A16, W8A8, W4A8 und W4A4 sind nur der Anfang, schon bei 4 Bit gibt es INT4 gegenüber NVFP4, dazu Gruppengrößen und symmetrische oder asymmetrische Quantisierung. Jede neue Kombination bedeutete bislang einen weiteren Satz aus Gewichtsvorverarbeitung, Kernel-Auswahl und Tests. Humming trennt die Quantisierungsbeschreibung von den Ausführungsentscheidungen: Formate verschiedener Quantisierungswerkzeuge werden zunächst in eine einheitliche Darstellung überführt, dann bauen drei Konfigurationsebenen – Layer, Compute und Tuning – einen auf GPU und Arbeitslast spezialisierten Kernel, der just-in-time kompiliert wird. Die Kompilierung eines einzelnen W4A16-Kernels auf einer H200 sinkt von 23,35 Sekunden mit CUTLASS auf 1,82 Sekunden; die Kosten für Tuning-Iterationen fallen um eine Größenordnung, bevor überhaupt Inferenz läuft.
Bei Benchmarks zuerst die Basislinie lesen, dann den Faktor
In den veröffentlichten Mikrobenchmarks erreicht dichtes W4A16 bei kleinen Batches etwa das 3- bis 4-Fache der cuBLAS-Basislinie und bei großen Batches auf der H200 rund das Doppelte von vLLM Marlin; der gruppierte MoE-Pfad kommt in einigen B300-Fällen auf etwa das 5-Fache. W8A8 läuft auf H20 und H200 mit etwa dem 2,6- bzw. 2,5-Fachen der entsprechenden DeepGEMM-Implementierungen. Aussagekräftiger ist der End-to-End-Test: Beim Serving von DeepSeek-V4.1-Flash auf acht H20-GPUs steigerte der Wechsel der MoE-Ausführung von Marlin W4A16 zu Humming W4A8 den Gesamtdurchsatz um 14 bis 43 Prozent und senkte die Zeit bis zum ersten Token um 25 bis 32 Prozent; bei Parallelität 64 stieg die Ausgabegeschwindigkeit von 442 auf 634 Token pro Sekunde. Alle Werte stammen aus der Testumgebung des offiziellen Blogs und werden mit anderer Hardware und anderen Modellen variieren, doch die Richtung ist eindeutig: Der Speichervorteil niedrigpräziser Gewichte wird von den Kernels endlich in Geschwindigkeit umgesetzt.
Einstieg: seit vLLM 0.29 mitgeliefert
Humming unterstützt jede NVIDIA-Architektur ab Turing sowie CUDA-kompatible Geräte wie T-Heads Zhenwu 810E; das Installationspaket ist nur etwa 500 KB groß, weil es keine vorkompilierten Kernel enthält, sondern sie bei Bedarf erzeugt. Seit vLLM 0.29.0 gehört Humming bei CUDA-Installationen bereits zu den Abhängigkeiten und wird beim Start mit --linear-backend humming und --moe-backend humming aktiviert. Eine Grenze sollte man im Blick behalten: Das Tuning beruht derzeit auf Geräte-Heuristiken, Autotuning steht auf der Roadmap statt in dieser Version. Für Teams, die auf Inferenzkosten achten und von Modellen in vielen Formaten geplagt werden, gehört Humming schon jetzt auf die Evaluierungsliste. Wie beim früher auf dieser Seite vorgestellten offenen Inferenz-Framework DeepInfer von DeepSeek geht es bei dieser Art von Infrastruktur-Open-Source letztlich um die langfristige Betriebsrechnung.
