蚂蚁集团与 vLLM 开源量化推理内核库 Humming：一套 JIT 框架覆盖 INT4/NVFP4/MXFP4 等格式，支持平头哥真武 810E，自测在 H200、B300 上最高达 Marlin 的 2 至 5 倍

这件事意味着什么

【要点】

蚂蚁集团与 vLLM 社区在 vLLM 官方博客宣布开源 Humming：一个面向量化推理的 GEMM 内核库，采用即时编译（JIT），Apache 2.0 许可。

一、思路：把「量化格式描述」和「执行方案」拆开，用共享组件按负载拼出内核，而不是为每种权重/激活组合单独写一个内核。支持稠密和 MoE，覆盖 WnA16、W8A8、W4A8、W4A4 及 INT4、MXFP4、NVFP4 等格式。

二、硬件：支持 NVIDIA 从 Turing 起的全部架构，以及平头哥（T-Head）真武 810E 等兼容 CUDA 的国产加速卡。

三、社区测试称：稠密 W4A16 在多数配置上持平或超过 vLLM 现用的 Marlin，H200 大批量约为 Marlin 两倍、部分 B300 场景超三倍；MoE 下 MXFP4 在 H20/H200 约两倍，B300 上 Grouped 路径最高约 5 倍；对比基线还包括 FlashInfer 和 DeepGEMM。

四、还支持 Blackwell 张量核里 PTX 没有公开的两种格式 float4e0m3、float8e3m4；Rubin 不支持这两种格式。

【可核验】

博客：https://vllm.ai/blog/2026-10-21-humming

代码：https://github.com/vllm-project/humming

【我们的判断】

一、背景：量化是降推理成本的主要手段，但格式越来越多（INT4、NVFP4、MXFP4……），推理框架要为每种组合维护专门内核，Marlin、FlashInfer、DeepGEMM 各管一块。Humming 想用一套 JIT 框架统一这些路径。

二、横向看，DeepSeek 刚开源生产推理栈 DeepInfer，AWS 往 vLLM 贡献 KV 传输，中美大厂都在把推理底层能力往开源框架里放。蚂蚁的特点是同时照顾国产卡：真武 810E 能直接用上同一套内核和调优，对受出口管制、需要混用英伟达与国产硬件的中国部署方更有现实意义。

三、局限：性能数字是内核级微基准，端到端收益取决于模型和负载；国产卡只列了支持、没有给出与英伟达同口径的数据；仓库 2 月已建，此次是正式发布，接入 vLLM 的默认路径还要看后续合并。