ToolNavs 发现实用AI工具
提交工具 登录

vLLM

吞吐、显存和并发，是 vLLM 关心的三件事。它不提供聊天界面，只把开源模型跑成能扛住线上流量的 API；工具调用、MoE 后端和长上下文缓存都在持续补。

vLLM 站在模型和应用之间：前端与知识库都不归它管，它只把开源模型跑成稳定、省显存、能扛并发的推理服务。自托管模型 API 的团队几乎必看它，只想本机聊天的人会觉得太重。版本更新多在补底层：TRTLLM 融合 MoE、FP8 后端与 MTP；工具调用要显式开启参数并选对 parser，否则调用只会以文字输出。