开源分布式推理项目 llm-d 发布 1.0：红帽、IBM、谷歌云等发起的 CNCF 项目加入多租户服务质量、零停机运维和面向智能体的路由

这件事意味着什么

【要点】

开源分布式推理项目 llm-d 10 月 20 日发布 1.0 版。IBM 当天发布新闻稿，谷歌云、IBM 研究院、红帽同步发文（北京时间 19:30 起），GitHub 上的 v1.0.0 标签则在北京时间 10:30 已经打出。llm-d 由红帽、IBM、谷歌云、CoreWeave 和英伟达在 2025 年发起，现由 CNCF 托管（今年 3 月进入 Sandbox）；它跑在 vLLM、SGLang 这类推理引擎之上，负责在 Kubernetes 集群里调度请求。

一、1.0 新功能：多租户服务质量（按优先级和公平性做流量控制，过载时有控制地丢弃低优先级请求）；零停机运维（路由器热备高可用、滚动升级，用 DisaggregatedSet 把预填充和解码副本当成一个整体升级）；路由配置 API 升到稳定的 v1，支持 Responses API 的 previous_response_id；面向智能体的会话亲和路由和按轮次优先级调度。

二、规模：新闻稿称有 25 家以上机构的 500 多名贡献者。项目不再自建推理镜像，转用 vLLM、SGLang 等上游官方镜像；新接入英伟达 Dynamo 团队的 modelexpress 做点对点权重加载。

三、项目方的数字：用 llm-d 部署约 7530 亿参数的 GLM 5.2，峰值每分钟输出 660 万 token，最多同时服务 3000 个编程智能体且零抢占；按云租用价折算，单 token 成本比同类商业 API 低 5–10 倍。

四、用户表态：谷歌云正把 1.0 集成进 GKE，覆盖 TPU 和英伟达 GPU；DigitalOcean 称其无服务器推理依赖 llm-d；JetBrains 称免费的 Junie Lite 编程智能体有相当部分流量跑在 llm-d 上；Mistral、Cohere、Roblox、AMD 也给出了支持声明。

【可核验】

GitHub 发布说明：https://github.com/llm-d/llm-d/releases/tag/v1.0.0

IBM 新闻稿：https://newsroom.ibm.com/2026-10-20-llm-d-1-0-advances-open,-cost-efficient-ai-inference-for-production-scale

谷歌云博客：https://cloud.google.com/blog/topics/ai-infrastructure/llm-d-1-0-an-open-source-stack-for-distributed-inference/

【我们的判断】

一、推理引擎之上的集群调度层（缓存感知路由、预填充/解码分离、多租户隔离）决定了线上成本，过去各家多是自研闭源。llm-d 到 1.0 后有了稳定 API，企业可以拿它做长期标准。

二、同一天 DeepSeek 开源的 DeepInfer 恰好没放出 KV 缓存、预填充/解码分离和副本间负载均衡；llm-d 补的正是这一层，两者对自建推理的团队互为参照。

三、5–10 倍成本优势和 GLM 5.2 吞吐来自项目方自己的测试，比的是云租用价和商业 API 定价，不等于各家实际账单。