Meta 首次详解吉瓦级训练集群 Prometheus：第一期已建成并训练 Muse Wonder，预训练有效算力率超 85%、强化学习超 90%，中断率一年降 99%，目标约 100 万张 GPU，下一步接入 Vera Rubin

这件事意味着什么

【要点】

Meta 工程博客北京时间 10 月 19 日 21:00 发布《Inside Prometheus》，首次系统披露俄亥俄州 New Albany 的吉瓦级训练集群。第一期已建成，并用于训练 Muse 系列（含 e/833 的 Muse Wonder）；目前由数十万张 GPU 跨多栋楼组成，满配目标约 100 万张 GPU。

关键数字（均为 Meta 自报）：Muse Wonder 预训练有效算力率（goodput）超 85%，强化学习超 90%；训练期间平均中断间隔约 4.7 万 GPU 小时，固件修复后升到 5.4 万以上，目标约 10 万。2025 年年中峰值时每 8K 张 GPU 每天近 1000 次中断，一年降了 99%。硬件是 GB200 NVL72（Catalina）和 GB300 NVL72（Clemente），下一代 Vera Rubin NVL72（San Miguel，每柜 FP4 2.52 EFLOPS、170kW+）即将接入。

工程细节：每个 72 卡机柜只用 64 卡，8 卡在柜内备用；跑 3.2 万卡任务要备约 13% 冗余。楼内以太网每个 fabric 最多 20,736 张 GPU，跨楼聚合网络跨度 2 到 100 多公里。同步训练造成 30%–40% 的功率波动，靠 Dynamo Dimmer 功率封顶、机柜电池和储能平滑。路易斯安那的 Hyperion 将照此设计。

【可核验】

Meta 工程博客：https://engineering.fb.com/2026/10/19/data-center-engineering/inside-prometheus-meta-gigawatt-scale-supercluster/

Muse Wonder（e/833）：https://agipulse.org/e/833

【我们的判断】

一、前沿实验室很少公开整套训练集群的可靠性数据。中断率、goodput、备卡比例这些数字，对判断「堆卡能换来多少有效训练」比 GPU 总数更有用。

二、NVL72 让故障影响范围扩大到 9 倍，Meta 的办法是固定留 11% 的卡做冗余，这是大柜架构的隐性成本。

三、博文是为 Muse 与 MSL 下一代模型造势，没有给出新模型的时间表。