AWS 为 vLLM 分离式推理贡献推送式与双向 KV 缓存传输，自测首 token 时间最多快 3 倍

这件事意味着什么

【要点】

AWS 在机器学习博客发布两项为 vLLM「预填充/解码分离」推理做的 KV 缓存传输改进，并称都已作为与硬件无关的功能贡献给 vLLM。

一、推送式传输：vLLM 的 NIXL 连接器默认由解码端在预填充完成后再「拉」KV 块，协调步骤卡在首 token 的关键路径上。AWS 改为预填充端主动推送，把准备工作提前。在 EC2 P5en（GPU、EFA 互联）1P1D 部署上跑 Qwen3-32B，首 token 时间（TTFT）最多快 3 倍，每 token 输出时间（TPOT）最多快 30%。

二、双向传输：多轮智能体对话里，解码端生成的 KV 以前回不到预填充端，下一轮要重算。双向传输让两端复用已算好的上下文；多轮测试中 TTFT 对 Qwen3-32B 最多降 1.6 倍，对 GLM-5-FP8 最多降 3.3 倍。

三、两项功能先在 Trainium 集群上开发验证，博客结果来自 GPU 集群。

【可核验】

推送式 KV 传输：https://aws.amazon.com/blogs/machine-learning/push-based-kv-transfer-to-improve-ttft-and-tpot-for-disaggregated-inference-in-vllm/

双向 KV 传输：https://aws.amazon.com/blogs/machine-learning/improve-ttft-for-multi-turn-agentic-workloads-with-bi-directional-kv-transfer-in-vllm/

【我们的判断】

一、背景：预填充/解码分离已是大规模推理的主流做法，llm-d 1.0、DeepSeek 的推理栈和 NVIDIA Dynamo 都在围绕它做文章，瓶颈越来越落在两端之间搬 KV 缓存的那一步。

二、AWS 的两项改动都瞄准智能体负载：长上下文、多轮反复重发历史，正是 TTFT 最容易恶化的场景。和此前多家只在自家栈里优化不同，AWS 选择贡献给 vLLM 上游，且强调与加速器无关，GPU 用户同样受益，也有助于把 Trainium 拉进主流开源生态。

三、局限：数字均为 AWS 自测，只有 1P1D 小规模配置，且依赖 EFA 这类 RDMA 网络；博客发布已一天多，具体合并状态和适用版本请以 vLLM 仓库为准。