DeepSeek 的推理框架 DeepInfer 在 2026 年 10 月 20 日正式开源：DeepSeek 把支撑自家大规模线上服务的推理框架放进 GitHub 官方仓库 deepseek-ai/DeepInfer，采用 Apache-2.0 许可证，首个开源版本提供离线推理，当前支持的模型只有 DeepSeek-V4.1-Flash 一个。
放出来的到底是什么成色
内核层把 FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect 等自研算子打包进来；运行时支持 Attention 数据并行与均衡上下文并行、MoE 专家并行加 EPLB 负载均衡；解码侧有 DSpark 与按置信度调度的验证、滑动窗口注意力的有界重放；调度器异步运行，号称零开销批量调度；还支持批不变推理、确定性采样和用正则、JSON Schema、EBNF 约束的结构化输出。
性能、硬件与上手门槛
官方性能图在 4 张 SM100 GPU 上测预填充、64 张上测解码。硬件支持英伟达 SM100 GPU 与华为昇腾 950 NPU，前置条件是 GCC 13、Python 3.12，英伟达侧要 CUDA 13、昇腾侧要 CANN 9.2。框架最初主要基于 vLLM 构建，也借鉴了 SGLang 与 TensorRT-LLM；站内此前发布的 DeepSeek-V4.1-Flash-1017 正是它目前唯一适配的模型。
没放出来的部分，恰恰是最难复制的
仓库说明写得很坦白：完整的推理服务还需要 KV 缓存系统、预填充与解码分离（引擎侧大部分所需功能已经实现）和数据并行副本之间的负载均衡，这三样都不在本次开源范围内。也就是说，外界拿到的是发动机和变速箱，油路和调度中心还得自备。对想自建 DeepSeek 服务的团队，这降低了从零调内核的门槛；对 vLLM、SGLang 等既有框架，这是第一次能逐行对照 DeepSeek 线上系统的取舍：哪些地方值得为批不变和确定性付出性能，哪些地方靠异步调度把 CPU 开销藏起来。
为什么这件事值得盯着看
过去两年，DeepSeek 的开源多在模型权重和单个算子库层面，框架层一直只闻其名。这次把生产框架整体放出来，影响首先落在推理成本上：中小团队部署 V4.1-Flash 时不必再从通用框架的默认配置起步。其次落在昇腾生态：DeepInfer 把昇腾 950 列为一等硬件，与此前 DeepSeek 开源昇腾版算子库的方向连成一条线。当然也要留个清醒：仓库 10 月 16 日才创建，目前只有离线推理，离生产级在线服务还有距离；值不值得投入迁移，看接下来几周的更新节奏和问题响应速度。
