Humming 在 2026 年 10 月 21 日由蚂蚁集团与 vLLM 社区在 vLLM 官方博客宣布开源，这是一个通用高性能量化推理内核库，现已托管在 GitHub 的 vllm-project 组织下。它想解决的问题不是某一个算子不够快，而是量化格式多到没人维护得过来。
量化组合爆炸，逐个写内核已经写不动了
权重和激活各有位宽、数值格式和缩放方式：W4A16、W8A8、W4A8、W4A4 只是起步，同为 4 比特还有 INT4 与 NVFP4 之分，再叠加分组大小、对称与非对称量化，每多一种组合，传统做法就要多写一套权重预处理、内核选择和测试。Humming 把量化描述与执行选择拆开：先把各家量化工具导出的格式统一成标准表示，再由层配置、计算配置、调优配置三组参数拼装出针对具体显卡和负载的内核，运行时即时编译。单个 W4A16 内核在 H200 上的编译时间从 CUTLASS 的 23.35 秒降到 1.82 秒，调参试错的成本先降了一个量级。
跑分先看基线，再看倍数
官方公布的微基准里，W4A16 稠密计算在小批量下相对 cuBLAS 基线有约 3 到 4 倍优势，大批量 H200 上约为 vLLM Marlin 的两倍；MoE 的分组路径在 B300 上个别情形达到约 5 倍。W8A8 在 H20、H200 上约为 DeepGEMM 对应实现的 2.6 倍和 2.5 倍。端到端测试更能说明问题：在 8 张 H20 上服务 DeepSeek-V4.1-Flash，把 MoE 执行从 Marlin W4A16 换成 Humming W4A8 后，整体吞吐提升 14% 到 43%，首 token 延迟下降 25% 到 32%，并发 64 时输出速度从每秒 442 个 token 升到 634 个。这些数字都出自官方博客的自测环境，换硬件和模型后幅度会变，但方向一致：低精度权重的存储优势，正在被内核真正兑换成速度。
上手门槛：vLLM 0.29 起自带
Humming 支持英伟达 Turing 及之后全部架构，也支持平头哥真武 810E 这类兼容 CUDA 的设备；安装包只有约 500KB，因为它不预置编译好的内核，而是按需生成。从 vLLM 0.29.0 起，CUDA 安装已把 Humming 作为依赖自带，启动时用 --linear-backend humming 与 --moe-backend humming 即可启用。需要保留的边界是：当前调优靠设备启发式规则，官方已把自动调优列入后续计划；对推理成本敏感、又被多格式模型轮番折腾的团队，它值得现在就纳入评估。和站内此前介绍的 DeepSeek 开源推理框架 DeepInfer 一样，这类基础设施开源拼的都是长期运维账。
