DeepSeek 开源线上推理框架 DeepInfer：支撑 V4.1 Flash 大规模服务，可跑英伟达 SM100 和华为昇腾 950，Apache 2.0 许可；官方称单集群日吞吐 155 万亿 token

这件事意味着什么

【要点】

DeepSeek 10 月 20 日下午（北京时间约 17:00）在 GitHub 公开了自家线上推理框架 DeepInfer，采用 Apache 2.0 许可，允许商用。仓库说明称，它就是支撑 DeepSeek 大规模线上服务的推理框架，本次开源的是离线推理部分和大规模服务所需的核心功能。

一、能跑什么：目前只支持 DeepSeek-V4.1-Flash（默认加载 V4.1-Flash-1017 权重）；硬件支持英伟达 SM100 GPU 和华为昇腾 950 NPU。

二、主要功能：注意力数据并行、MoE 专家并行与负载均衡（EPLB）、草稿 token 推测解码（DSpark）、滑动窗口有界重放、异步调度、结构化输出；“批次无关推理”和确定性采样目前只在英伟达平台可用。底层用到 FlashMLA、DeepGEMM、DeepEP、DeepSelect 等此前开源的算子库和 TileLang 自定义算子。

三、没有开源的部分：KV 缓存系统、预填充/解码分离部署、数据并行副本之间的负载均衡不在本次发布中。DeepSeek 在随附的部署问答文档中说，这些组件与内部基础设施耦合较深，暂未完整开源。

四、官方数字：问答文档称，基于这套框架，单一集群服务吞吐为每天 155 万亿 token，整体收入为每卡每小时 38 美元（按谷价）；系统按 8 卡机器做预填充、64–128 卡超节点做解码设计，并支持把 KV 缓存保留 72 小时以上。文档还说，生产级 token 编解码组件 deepseek-recipe 同步开源，后续新模型的推理代码也会在 DeepInfer 中继续开源。

五、仓库说明致谢 vLLM，称 DeepInfer 最初主要基于 vLLM 构建，并参考了 SGLang 和 TensorRT-LLM。

【可核验】

GitHub 仓库：https://github.com/deepseek-ai/DeepInfer

部署问答文档（PDF，中文）：https://github.com/deepseek-ai/DeepInfer/tree/main/doc

deepseek-recipe：https://github.com/deepseek-ai/deepseek-recipe

默认权重：https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash-1017

【我们的判断】

一、这是 DeepSeek 首次把线上服务用的推理引擎整体放出来，此前开源的多是单个算子和通信库。对想自己部署 V4.1 Flash 的团队，这比只给权重更有用：能直接参考官方的并行方式和部署配比。

二、同一套代码同时支持英伟达和昇腾 950，说明 DeepSeek 已把国产芯片放进主力推理路径；不过确定性、批次无关等功能目前只在英伟达上提供，两边成熟度并不一样。

三、吞吐和收入数字来自 DeepSeek 自己的文档，没有第三方核实；KV 缓存和负载均衡这些决定线上成本的部分仍未开源，外部团队要复现官方效率，还得自己补齐。