vLLM：用 8 卡 AMD Instinct MI355X 服务 Kimi K3，在 AgentX 基准上每卡吞吐高出 NVIDIA HGX B300 24.4%、每美元 token 多 87.4%

这件事意味着什么

【要点】

vLLM 社区 10 月 16 日发文（与 AMD、Embedded LLM 合作）：在公开的 AgentX 编码智能体基准上，用 vLLM 服务 Kimi K3、跑在 8 卡 AMD Instinct MI355X 上，于「每用户每秒 50 token」的 P90 交互档位达到约每卡 7,567 token/s，而 NVIDIA HGX B300 约 6,083，吞吐高 24.4%；按 SemiAnalysis 的整机拥有成本模型（$1.50 vs $2.26 每 GPU 小时）折算，每美元 token 数高 87.4%（1,816 万 vs 969 万）。

两款卡都是 288GB HBM3E、8TB/s 带宽；标称稠密算力 MI355X 为 10.1 PFLOP/s（MXFP4）、B300 为 13.5 PFLOP/s（FP4）——即在峰值算力更低的情况下拿到更高实测吞吐。文章把收益拆给缓存复用（DCP + CPU offload）、MoE 去重、算子融合减少拷贝、用 AMD AITER 汇编加速 MLA 长上下文解码、KDA 并行预填与投机校验、以及可调的投机解码草稿长度。

【可核验】

vLLM 原文：https://blog.vllm.ai/blog/2026-10-16-kimi-k3-mi355x

数据来源：SemiAnalysis InferenceX（文内标注 10 月 9 日快照）

【我们的判断】

一、这是「软件把二线算力榨到一线」的又一例：峰值 FP4 更低的 MI355X 靠 vLLM 的调度与 ROCm 侧内核，在真实编码智能体回放（>96% 前缀可复用）里反超 B300，直接影响推理选型的性价比账。

二、口径要看清：对比的是 SemiAnalysis 建模的 TCO 与 P90 交互档，不是绝对上限；各项优化的小测来自各自配置、与整机曲线不完全可比，厂商自述需独立复现。

三、延续 vLLM 把中国开源大模型（MiniMax M3、DeepSeek、现在月之暗面 Kimi K3）做成一线推理样板的路线（见 e/793、e/729），对开源部署者是实用参考。