vLLM
吞吐、显存和并发，是 vLLM 关心的三件事。它不提供聊天界面，只把开源模型跑成能扛住线上流量的 API；工具调用、MoE 后端和长上下文缓存都在持续补。
vLLM 站在模型和应用之间：前端与知识库都不归它管，它只把开源模型跑成稳定、省显存、能扛并发的推理服务。自托管模型 API 的团队几乎必看它，只想本机聊天的人会觉得太重。版本更新多在补底层：TRTLLM 融合 MoE、FP8 后端与 MTP；工具调用要显式开启参数并选对 parser，否则调用只会以文字输出。
DeepSeek DeepInfer值得折腾吗：引擎是真的，服务还得自己搭
DeepInfer 是 DeepSeek 在 GitHub 上公开的推理框架，组织名是 deepseek-ai，项目名是 DeepInfer，采用 Apache 2.0 许可证。它自称是支撑 DeepSeek 大规模线上服务的推理框架，发布时只支持 DeepSeek-V4.1-Flash 这一个模型...
Admin
66 
SGLang 值得自托管吗？共享前缀跑得快，账算在显卡和运维
SGLang 是这两年推理部署圈绕不开的开源框架：同样一张显卡，它在多轮对话、智能体和结构化输出这类负载上往往比朴素部署快出一截。但它不是聊天产品，而是一台需要显卡、调参和值守的推理引擎，值不值得自托管，先看你的请求长什么样，再看你养不养得起。 官方仓库信息 - 所在平台：GitHub - 组织名：...
Admin
97 
Humming 量化内核库开源，一套代码适配十几种精度与多代显卡
Humming 在 2026 年 10 月 21 日由蚂蚁集团与 vLLM 社区在 vLLM 官方博客宣布开源，这是一个通用高性能量化推理内核库，现已托管在 GitHub 的 vllm-project 组织下。它想解决的问题不是某一个算子不够快，而是量化格式多到没人维护得过来。 量化组合爆炸，逐个写...
Admin
168 
llm-d 1.0 发布：开源推理栈迈过生产门槛，比跑分更难的是运维
llm-d 1.0 于 2026 年 10 月 20 日在北美 PyTorch 大会上正式亮相，IBM Research 在官方博客中宣布了这一版本。这个 Kubernetes 原生分布式推理项目由 Red Hat、IBM 与 Google 牵头维护，三家与 CoreWeave、NVIDIA 在 2...
Admin
103 
DeepSeek 开源 DeepInfer：撑起自家线上服务的推理框架全摊开了
DeepSeek 的推理框架 DeepInfer 在 2026 年 10 月 20 日正式开源：DeepSeek 把支撑自家大规模线上服务的推理框架放进 GitHub 官方仓库 deepseek-ai/DeepInfer，采用 Apache-2.0 许可证，首个开源版本提供离线推理，当前支持的模型只...
Admin
236 
vLLM v0.32.0 发布：低精度 KV 缓存扩到老显卡，安全默认值收紧
vLLM v0.32.0 于 2026 年 10 月 18 日发布，vLLM 项目在 GitHub 上放出的这一版收进了 814 次提交、出自 363 位贡献者，其中 121 位是第一次参与。对自托管开源模型推理的团队来说，这一版真正值得看的不是新模型名单，而是两件事：低精度 KV 缓存开始覆盖更老...
Admin
230 
Beam 开源权重模型发布：501B 参数只激活 23B，先攻编程智能体
Beam 是 Reflection 推出的首个开源权重模型。2026 年 10 月 16 日，Reflection 正式发布 Beam，Ollama 同日在官方博客宣布成为首发合作伙伴：模型总参数约 501B，采用混合专家架构，每个词元只激活约 23B 参数，上下文窗口达到 100 万词元，以 Ap...
Admin
159 
Kimi K3 跑在 AMD 芯片上反超 B300：vLLM 把重复计算砍掉之后
Kimi K3 在 AMD Instinct MI355X 上的推理优化，是 vLLM 官方博客在 2026 年 10 月 16 日发布的技术复盘给出的结果：在 AgentX 智能体负载下，八卡 MI355X 系统以 vLLM 运行时，每 GPU 每秒总 token 数比 NVIDIA HGX B3...
Admin
149