vLLM v0.32.0이 2026년 10월 18일 출시됐고, vLLM 프로젝트가 GitHub에 올린 이번 버전에는 기여자 363명의 커밋 814건이 담겼으며 그중 121명은 첫 기여였다. 오픈 웨이트 모델을 직접 서빙하는 팀에게 중요한 것은 새 모델 목록이 아니다. 저정밀 KV 캐시 지원이 구형 GPU로 넓어졌고, 익숙하던 기본 동작 몇 가지가 바뀌어서, 변경 사항을 읽지 않고 업그레이드하면 멀쩡하던 배포가 깨질 수 있다.
생성이 아니라 판단을 답하는 새 엔드포인트
새로 추가된 POST /v1/systemone 엔드포인트는 기본으로 켜져 있으며, 주어진 상태를 두고 choice, noul, score 같은 구조화된 판단에 답한다. 어떤 선택지를 고를지, 어떤 주장이 성립하는지, 결과에 몇 점을 줄지 같은 질문이다. 그동안 프롬프트로 출력 형식을 유도하고 직접 파싱하던 일을 이제 서빙 계층이 정식 인터페이스로 다룬다. 범용 hf 파서는 모델 체크포인트에 들어 있는 response_template을 직접 읽어서, 템플릿을 갖춘 새 모델마다 도구 호출과 추론 파서를 따로 만들 필요가 없어졌고, 새 모델을 붙일 때 가장 손이 많이 가던 부분이 줄었다.
KV 캐시의 계산: 메모리는 절반, 대가는 첫 토큰 지연
긴 컨텍스트와 높은 동시성에서 가장 먼저 부딪히는 벽은 메모리이며, 이번 버전의 힘은 대부분 여기에 쓰였다. NVFP4 형식 KV 캐시가 SM8x, SM12x, SM90을 지원해 구형 카드에서도 저정밀 캐시로 메모리를 비울 수 있다. GLM-5.x는 SM100에서 FP8 KV 캐시가 기본이 되어 카드당 KV 메모리가 절반으로 줄고 처리량은 2.3%에서 5.5% 오르지만, 첫 토큰까지의 시간은 7%에서 11% 나빠진다. SM90에서는 fp8_ds_mla 덕분에 GLM-5.3-Flash의 출력 처리량이 최대 31% 늘었다. 메모리는 돌려받되 첫 글자를 기다리는 시간은 조금 길어진다는 교환이 분명히 적혀 있다. 추론 하위 계층 최적화는 올해 내내 이어진 흐름으로, Kimi K3가 AMD 칩에서 B300을 앞섰던 vLLM 최적화도 같은 맥락이다.
새 모델, 짧은 요청 처리량, 보안 수정
새로 지원되는 모델은 Google의 멀티모달 임베딩 모델 EmbeddingGemma 2, MiniCPM-V 4.7, NVIDIA의 스트리밍 음성 인식 모델 Nemotron 3.5 ASR이다. 서빙 쪽에서는 여러 API 프로세스로 가는 요청이 가장 한가한 프로세스로 배정되도록 바뀌었고, 프로젝트 벤치마크에서 짧은 요청 처리량이 43%에서 85% 늘었다. 다만 입력 32토큰, 출력 1토큰이라는 극단적으로 짧은 조건이라 실제 부하에서 같은 수치를 기대하면 안 된다. 보안 쪽에서는 채팅 템플릿 자원 고갈, tokenizer 매개변수, P2P 통신과 관련된 취약점 3건이 수정됐고, 교차 출처 접근 기본값은 모든 출처 허용에서 제한으로 바뀌었으며, 신뢰할 수 없는 이미지는 래스터 형식만 받는다.
업그레이드 전에 확인할 세 가지 호환성 변경
새 기능보다 먼저 발목을 잡는 것은 호환성을 깨는 변경이다. Python 3.10 지원이 끝나 해당 환경에서는 업그레이드 자체가 실패한다. 교차 출처 기본값이 엄격해져 브라우저에서 추론 API를 직접 호출하는 프런트엔드는 허용 출처를 명시하기 전까지 끊긴다. 캐스케이드 어텐션은 제거됐고 transformers 지원 범위는 5.16.1부터 5.20.0 사이로 좁아졌다. 운영 환경에서는 테스트 환경에서 이 세 가지부터 확인한 뒤, KV 캐시 새 기본값이 자기 부하에서 이득인지 재는 순서가 안전하다. 첫 토큰 지연이라는 대가는 자신의 요청 분포로만 정확히 잴 수 있기 때문이다.
