vLLM v0.32.0 于 2026 年 10 月 18 日发布，vLLM 项目在 GitHub 上放出的这一版收进了 814 次提交、出自 363 位贡献者，其中 121 位是第一次参与。对自托管开源模型推理的团队来说，这一版真正值得看的不是新模型名单，而是两件事：低精度 KV 缓存开始覆盖更老的显卡，几个用惯了的默认行为被直接改掉，升级前不看变更说明就可能踩坑。
新端点回答的不是生成问题，而是判断问题
这一版新增了默认开启的 POST /v1/systemone 端点，专门回答 choice、noul 和 score 这类结构化判断：在给定状态下选哪个、某个选项成不成立、给一个结果打多少分。这类调用以前要靠提示词哄模型输出固定格式，再自己解析；现在推理层直接把判断做成了一等接口。同时上线的还有通用 hf 解析器，能直接读取模型权重文件里自带的 response_template，带模板的新模型接入时不再需要为每个模型单独写工具调用和推理解析，省掉的是接入新模型时最琐碎的那部分适配工作。
KV 缓存的账：省一半显存，拿首字延迟来换
显存吃紧是长上下文和高并发推理最先撞上的墙，这一版的力气大半花在这里。NVFP4 格式的 KV 缓存新增了对 SM8x、SM12x 和 SM90 架构的支持，老一代显卡也能用低精度缓存腾出显存；GLM-5.x 在 SM100 上改为默认启用 FP8 KV 缓存，每张卡的 KV 显存占用直接减半，吞吐提高 2.3% 到 5.5%，代价是首字延迟上升 7% 到 11%；在 SM90 上，fp8_ds_mla 让 GLM-5.3-Flash 的输出吞吐最高多出 31%。取舍写得很清楚：显存换出来了，但用户等第一个字的耐心要多付一点。推理速度的优化今年一直在往底层钻，Kimi K3 跑在 AMD 芯片上反超 B300 的那次 vLLM 优化也是同一条线。
新模型、短请求吞吐与安全修复
新支持的模型包括谷歌的多模态嵌入模型 EmbeddingGemma 2、MiniCPM-V 4.7 和英伟达的流式语音识别模型 Nemotron 3.5 ASR。服务层把多个 API 进程的请求改为发给当前最空闲的那个进程，官方基准里短请求吞吐提高了 43% 到 85%，不过那是 32 个输入 token、1 个输出 token 的极短请求条件，日常负载不能直接照搬这个数字。安全方面，这一版修了三个已编号的漏洞，涉及聊天模板资源耗尽、tokenizer 参数和 P2P 通信，并把跨域访问的默认策略从允许所有来源改为收紧，未受信图片也只接受栅格格式。
升级前先核对这三处破坏性变更
这一版的破坏性变更比新功能更容易先咬到人。Python 3.10 不再受支持，还在用它的部署环境升级即失败；跨域默认收紧后，靠浏览器直连推理接口的前端会先断，需要显式配置允许的来源；级联注意力被移除，transformers 的版本范围也收窄到 5.16.1 到 5.20.0 之间。对生产环境更稳妥的顺序是先在测试环境核对这三处，再看 KV 缓存的新默认值在自己的负载上到底是赚是亏，毕竟首字延迟的代价只有用自己的请求分布才测得准。
