Humming은 2026년 10월 21일 앤트그룹과 vLLM 커뮤니티가 vLLM 공식 블로그를 통해 오픈소스로 공개한 범용 고성능 양자화 추론 커널 라이브러리로, 현재 GitHub의 vllm-project 조직에서 호스팅되고 있다. 이 라이브러리가 풀려는 문제는 특정 연산자가 느리다는 것이 아니라, 양자화 형식이 너무 많아져 형식마다 커널을 유지보수할 수 없게 됐다는 점이다.
양자화 조합 폭발, 커널을 일일이 짜는 방식은 한계에 왔다
가중치와 활성화는 각각 비트 폭, 수치 형식, 스케일링 방식이 다르다. W4A16, W8A8, W4A8, W4A4는 출발점일 뿐이고, 같은 4비트에도 INT4와 NVFP4가 있으며, 그룹 크기와 대칭·비대칭 양자화가 겹친다. 조합이 하나 늘 때마다 기존 방식으로는 가중치 전처리, 커널 선택, 테스트를 한 벌 더 짜야 했다. Humming은 양자화 기술과 실행 선택을 분리한다. 각 양자화 도구가 내보낸 형식을 먼저 표준 표현으로 통일한 뒤, 레이어 설정·연산 설정·튜닝 설정의 세 층으로 대상 GPU와 워크로드에 특화된 커널을 조립해 런타임에 JIT 컴파일한다. H200에서 단일 W4A16 커널의 컴파일 시간은 CUTLASS의 23.35초에서 1.82초로 줄었고, 튜닝을 시도하는 비용부터 한 자릿수 낮아졌다.
벤치마크는 배수보다 기준선부터 봐야 한다
공개된 마이크로벤치마크에서 dense W4A16은 작은 배치에서 cuBLAS 기준선의 약 3~4배, 큰 배치의 H200에서는 vLLM Marlin의 약 2배에 도달했고, MoE 그룹 경로는 B300 일부 사례에서 약 5배를 기록했다. W8A8은 H20과 H200에서 DeepGEMM 대응 구현의 약 2.6배와 2.5배다. 종단 간 테스트가 더 설득력 있다. H20 8장으로 DeepSeek-V4.1-Flash를 서빙하면서 MoE 실행을 Marlin W4A16에서 Humming W4A8로 바꾸자 전체 처리량이 14%~43% 올랐고 첫 토큰까지의 시간은 25%~32% 줄었으며, 동시성 64에서 출력 속도는 초당 442토큰에서 634토큰으로 상승했다. 모두 공식 블로그의 자체 측정 환경에서 나온 수치로, 하드웨어와 모델이 바뀌면 폭은 달라지겠지만 방향은 일관된다. 저정밀도 가중치의 저장 이점을 커널이 실제 속도로 바꿔주고 있는 것이다.
시작 문턱: vLLM 0.29부터 기본 포함
Humming은 NVIDIA Turing 이후 모든 아키텍처를 지원하고, 핑터우거 전무 810E 같은 CUDA 호환 장치도 지원한다. 설치 패키지는 약 500KB에 불과한데, 미리 컴파일된 커널을 넣지 않고 필요할 때 생성하기 때문이다. vLLM 0.29.0부터 CUDA 설치에는 Humming이 의존성으로 포함되어, 실행 시 --linear-backend humming과 --moe-backend humming을 지정하면 활성화된다. 유보할 경계도 있다. 현재 튜닝은 장치 휴리스틱에 의존하고, 자동 튜닝(autotune)은 향후 계획에 올라 있는 단계다. 추론 비용에 민감하고 여러 형식의 모델에 시달리는 팀이라면 지금 평가 목록에 올릴 가치가 있다. 이 사이트에서 앞서 소개한 DeepSeek 오픈소스 추론 프레임워크 DeepInfer와 마찬가지로, 이런 인프라 오픈소스 경쟁은 결국 장기 운영비의 싸움이다.
