vLLM
吞吐、显存和并发，是 vLLM 关心的三件事。它不提供聊天界面，只把开源模型跑成能扛住线上流量的 API；工具调用、MoE 后端和长上下文缓存都在持续补。
vLLM 站在模型和应用之间：前端与知识库都不归它管，它只把开源模型跑成稳定、省显存、能扛并发的推理服务。自托管模型 API 的团队几乎必看它，只想本机聊天的人会觉得太重。版本更新多在补底层：TRTLLM 融合 MoE、FP8 后端与 MTP；工具调用要显式开启参数并选对 parser，否则调用只会以文字输出。
投机解码是什么？小模型先猜、大模型再验，吐字为什么变快
投机解码（Speculative Decoding）是一种让大模型生成文字时提速的方法：先让一个小得多的草稿模型抢先猜出接下来几个词，再让大模型一次性并行核对这几个猜测，对的留下、错的从出错处改对。它改变的是生成顺序和算力安排，不改变大模型本身，所以在标准实现下，最终输出的分布和大模型自己逐词生成保...
Admin
217 
Baseten 实测：Claude 写出的推理引擎比 vLLM 快 90%
推理引擎能不能由 AI 智能体从零写出来，并压过成熟的通用框架？2026年10月2日更新的 Baseten 工程博客给出了一次实测：工程师参考 MetaInfer 论文，让 Claude Code（Fable 5）为 Qwen-3.6-35B-A3B 从零构建定制推理引擎，在 NVFP4 精度、单张...
Admin
176 
Prime Inference 上线：给前沿开源模型做推理服务，拼的是稳定性
Prime Inference 于2026年10月2日由 Prime Intellect 正式发布，是一项面向前沿开源模型的推理服务。它在多个数据中心以自有 GPU 基础设施提供无服务器端点和预留容量两种形态，带有生产级 SLA、安全与隐私设计、统一计费和团队级用量追踪，支持跨数据中心自动故障转移，...
Admin
144 
vLLM 加上无失真文本水印：模型输出可溯源，速度几乎无损
vLLM 在 9 月 24 日的官方博客中宣布，推理引擎正式支持基于 Gumbel-max 的文本水印功能。这项技术的目标很直接：让模型生成文本的来源可被追溯，同时保证加水印不改变模型的输出分布、不拖慢推理速度。按官方实测，Qwen3.5-27B 开启水印后，各项基准成绩都在误差范围内，吞吐变化在 ...
Admin
220 
Hermes Agent 接 vLLM 后工具不工作？
Hermes Agent 接 vLLM 后如果模型只把工具调用当文字输出，通常不是 Hermes 没接上，而是 vLLM 服务启动时少了工具调用参数。Hermes 默认会用 tool_choice: auto ，vLLM 端也要显式开启。 先检查启动命令 vllm serve meta-llama/...
Admin
429 
vLLM 适合什么团队？它是高性能推理底座，不是“装上就能用”的聊天产品
vLLM 的热度一直很高，因为它踩中的不是“有没有聊天界面”这种上层需求，而是更底层、也更贵的那个问题：模型服务怎么跑得更快、更省显存、更能扛并发。只要你准备自己托管模型 API，而不是单纯本地玩玩，vLLM 基本都会进入候选名单。 官方仓库： https://github.com/vllm-pro...
Admin
153 
vLLM发布0.17.1：TRTLLM MoE与MTP补丁集中落地，高性能推理继续补稳定性
vLLM 0.17.1 是建立在 0.17.0 之上的补丁版本，但修的都是推理底层很实在的问题。官方列出的内容包括 TRTLLM fused MoE、非 gated fused moe triton、TRTLLM MoE FP8 backend、Mamba/Qwen3.5 SSM cache blo...
Admin
314 vLLM发布0.17.0：高性能推理框架继续扩线，服务部署能力再被补强
vLLM 0.17.0 的价值，依然落在“怎么把大模型推理更稳定地跑进服务里”这件事上。对需要高吞吐、低延迟和更强部署效率的团队来说，vLLM 每一次版本推进都不只是研究层更新，而是会影响线上推理服务质量的基础设施演进。 随着模型体量、并发请求和推理复杂度持续上升，企业越来越难用临时拼接的方式维持服...
Admin
168