DeepSeek-V4.1-Flash 上线三周，vLLM 把吞吐做到 5 倍

这件事意味着什么

【要点】

10 月 7 日，vLLM 团队和 Inferact 发文介绍：DeepSeek-V4.1-Flash 发布三周后，vLLM 上这款模型在低并发下快了 1.9 倍；在每个用户每秒 150 个 token 的速度要求下，整体吞吐量是首发当天的 5.3 倍。测试用的是 SemiAnalysis 的 AgentX 智能体服务基准。

提速主要来自三处。一是「SWA 有界重放」：滑动窗口缓存不再全部存下来，命中前缀时只重算最后 128 个 token；模型后半部分（第 21–39 层）也只处理每个请求最后 128 个 token，长提示词能少算将近一半，再配合 CUDA Graph，预填充计算减少 30%–40%。二是接入 DeepSeek 随模型一起开源的新内核，包括 MegaAttention、Mega-mHC、Mega-Gate 和 DeepSelect。三是把剩下的算子进一步融合、并行。

【可核验】

一手来源是 vLLM 官方博客文章和 @vllm_project 在 X 上的宣布帖（约 2.3 万次曝光、127 个赞，SemiAnalysis 等账号转发）。

文中数字都是 vLLM 自己测的，对比基准是 vLLM 自己的首发版本，不是和其他推理引擎比；测试硬件是英伟达 GB200、GB300 这类 Blackwell 显卡。有界重放不是逐位精确的计算，vLLM 在 GSM8K、GPQA 上复测，精度差距在约 1.5 个标准误以内。外部独立复现还没有出现。

【我们的判断】

开源模型发布当天的速度和成本，不是它的最终价格。DeepSeek 这次把配套内核一起开源，推理社区三周就把它变成了 5 倍吞吐；vLLM 上个月对 Kimi K3 也做到过 2.8 倍。模型权重放出来之后，降本是很多人一起在做。

这正好回应了这几天 Haiku 5.5 降价带来的担心。闭源厂商降的是牌价，开源模型降的是每个 token 的实际算力消耗，而且谁部署都能拿到这份收益。对自建推理的团队来说，评估开源模型不能只看首发跑分，还要看厂商有没有一起开放内核、社区跟进有多快。

需要注意的是，这些收益主要在新一代英伟达显卡上测得，换成国产卡或旧卡未必能复现。