Humming a été annoncé en open source le 21 octobre 2026 par Ant Group et la communauté vLLM sur le blog officiel de vLLM. C'est une bibliothèque de noyaux généraliste et performante pour l'inférence quantifiée, désormais hébergée sous l'organisation vllm-project sur GitHub. Le problème qu'elle s'attaque n'est pas la lenteur d'un opérateur isolé, mais la multiplication des formats de quantification, devenus impossibles à maintenir un noyau à la fois.
La matrice des quantifications a explosé, écrire chaque noyau à la main ne passe plus à l'échelle
Poids et activations varient chacun en largeur de bits, en format numérique et en schéma de mise à l'échelle : W4A16, W8A8, W4A8 et W4A4 ne sont que le point de départ, et même à 4 bits coexistent INT4 et NVFP4, auxquels s'ajoutent tailles de groupes et quantification symétrique ou asymétrique. Chaque combinaison nouvelle exigeait jusqu'ici un jeu supplémentaire de prétraitement des poids, de logique de sélection de noyau et de tests. Humming sépare la description de la quantification des choix d'exécution : les formats exportés par les différents outils sont d'abord convertis dans une représentation standard unique, puis trois couches de configuration — couche, calcul et réglage — assemblent un noyau spécialisé pour le GPU et la charge visés, compilé juste à temps. La compilation d'un seul noyau W4A16 sur un H200 tombe de 23,35 secondes avec CUTLASS à 1,82 seconde : le coût des itérations de réglage chute d'un ordre de grandeur avant même la moindre inférence.
Lire les lignes de base avant les multiplicateurs
Dans les micro-benchmarks publiés, le W4A16 dense atteint environ 3 à 4 fois la ligne de base cuBLAS sur les petits lots et environ deux fois vLLM Marlin sur les gros lots en H200 ; le chemin groupé MoE atteint environ 5 fois dans certains cas sur B300. Le W8A8 tourne à environ 2,6 fois et 2,5 fois les implémentations DeepGEMM correspondantes sur H20 et H200. Le test de bout en bout est plus parlant : en servant DeepSeek-V4.1-Flash sur huit GPU H20, le passage de l'exécution MoE de Marlin W4A16 à Humming W4A8 a amélioré le débit global de 14 % à 43 % et réduit le temps jusqu'au premier token de 25 % à 32 %, la vitesse de sortie à concurrence 64 passant de 442 à 634 tokens par seconde. Tous ces chiffres proviennent de l'environnement de test du blog officiel et varieront selon le matériel et les modèles, mais la direction est constante : l'avantage de stockage des poids de faible précision est enfin converti en vitesse par les noyaux.
Prise en main : livré avec vLLM depuis la 0.29
Humming prend en charge toutes les architectures NVIDIA depuis Turing, ainsi que les appareils compatibles CUDA comme le Zhenwu 810E de T-Head ; le paquet d'installation ne pèse qu'environ 500 Ko, car il n'embarque aucun noyau précompilé et les génère à la demande. Depuis vLLM 0.29.0, les installations CUDA incluent déjà Humming comme dépendance, activable au lancement avec --linear-backend humming et --moe-backend humming. Une limite mérite d'être gardée en tête : le réglage repose pour l'instant sur des heuristiques par appareil, et l'équipe a inscrit l'autotuning à sa feuille de route plutôt que dans cette version. Pour les équipes sensibles aux coûts d'inférence et fatiguées de jongler avec des modèles en multiples formats, Humming mérite dès maintenant une place dans les évaluations. Comme le framework d'inférence open source DeepInfer de DeepSeek présenté plus tôt sur ce site, ce type d'ouverture d'infrastructure est au fond un pari sur la facture d'exploitation à long terme.
