Meta 公开千兆瓦级超算 Prometheus：一期已建成训练 Muse，目标 100 万张 GPU，中断率一年降 99%

先看基本盘。10 月 19 日，Meta 工程博客发布《Inside Prometheus: Meta's Journey to a Gigawatt-Scale Supercluster》，作者是 Kevin Lee、Yashar Bayani、Ahmed Sharif 与 Yee Jiun Song。地点是美国俄亥俄州 New Albany：两年前这里还只是一个跑网页流量的常规数据中心，现在被改造成训练前沿模型的场地。项目分期建设，一期已经完成，并且就是用来训练 Muse 系列基础模型的——包括 Meta 称为新一代前沿模型的 Muse Wonder（面向个人与专业 Agent 任务）。满规模目标是约 100 万张 GPU，当前是「数十万张」规模、分布在同一园区多栋互联建筑里，用官方的话说是「像一台机器一样运行」。

第一个真正的技术指标是 goodput（有效算力占比），不是浮点峰值。官方说，通过提升系统稳定性与可靠性，Muse Wonder 的预训练跑到了 85% 以上的 goodput，强化学习跑到了 90% 以上；这些训练期间的全墙钟平均中断间隔（MTBI）约 4.7 万 GPU 小时，之后整机群的固件修复把这个数字推到 5.4 万 GPU 小时以上，并仍在继续改进。为什么强调这个：在一个跨多栋楼、上百公里光纤的集群里，任何一台主机出问题都可能拖慢甚至停下整个训练任务，goodput 掉下去，你买的卡就白买了。

硬件是两代同堂，第三代在路上。第一代 Catalina 基于 NVIDIA GB200 NVL72，采用 Ariel 变体——两机架配置，每机架 36 张 GPU 通过 NVLink 组成统一的 72 GPU 域。这里有个细节值得看：Ariel 给每张 Blackwell GPU 配一颗 Grace CPU 和两块 ConnectX-7 400G 网卡，做到 1:1 的 CPU 与 GPU 比例，从而在业界更早实现「每 GPU 800G 的横向扩展带宽」。Meta 解释过动机：GB200 NVL72 在算力、HBM 带宽、scale-up 带宽与域大小上都比 H100 大幅提升，唯独每 GPU 的 scale-out 带宽会停在 400G，这个失衡会吃性能。单域规格是 72 张 GPU、13.4TB HBM3e（每卡 192GB）、720 PFLOPS FP8（FP4 下 1440 PFLOPS）、130 TB/s NVLink、576 TB/s 聚合内存带宽，两机架合计约 120kW。

第二代 Clemente 换到 NVIDIA GB300 NVL72，同时改 GPU 和平台。GPU 层面，每卡 HBM 从 192GB 提到 288GB（1.5 倍），密集 FP4 吞吐也提升约 1.5 倍，注意力（softmax）加速大致翻倍。平台层面变化更大：ConnectX-8 SuperNIC 原生提供每 GPU 800G，所以 Catalina 时代「提前部署」的能力变成了基线；加上 2:1 的 GPU 与 CPU 比例，整个 72 GPU 域能塞进单一机架，物理部署大幅简化。官方给的规格是：72 张 Blackwell Ultra、20.7TB HBM3e、超过 1 exaFLOP 的 FP4 峰值、130 TB/s NVLink（每 GPU 双向 1.8TB/s）、单机架约 135kW，性能比 GB200 NVL72 高 5-10%。散热可以选模块化的风助液冷（AALC）或新数据中心里的设施级液冷（FLC），布线也少了。第三代将基于 NVIDIA Vera Rubin NVL72，官方表述是「即将到来」。

网络部分是我认为最容易被低估的内容。楼内 fabric 用的是以太网，每套最多互联 20,736 张 GPU。早期用分离式调度 fabric（DSF）来对付训练集合通信那种「少量大流、长寿流」在传统负载均衡下互相撞车的问题——靠子包级多路径路由与报文重排，配合虚拟输出队列和基于信用的端到端流控。后来以太网网卡能在端点做报文重排，Meta 换成了非调度 fabric（NSF），用浅缓冲的 51.2T 以太网交换机（如 Minipack3，带动态负载均衡，以及基于 NVIDIA Spectrum-4 的 Minipack3N，配 ConnectX 网卡上的自适应路由）。两套都跑在 Meta 自研的 FBOSS 网络栈上。

跨楼的部分更狠。后端聚合网（BAG）是一个多层 hub-and-spoke 网络，把各楼的 fabric 连起来，跨度从 2 公里到 100 公里以上，设备是 Arista 7800 系列机箱配深度缓冲的 Broadcom Jericho3 芯片，每对区域之间提供数 Pbps 带宽。在这么远的距离上跑预训练，Meta 说必须与 Meta Superintelligence Labs 专门做联合优化，否则光速本身的限制就会拖慢训练。整张网合起来是：数百万英里的光纤丝、数万台交换机、数百万个光模块——楼内用 2×400G FR4 LITE 这类短距低成本可插拔，超过约 10 公里的链路换成 800G-ZR 相干光。这已经不是在搭机房网络，是在做一个跨地域的计算机互连。

然后是那组「99% 怎么来的」。官方定义：任何迫使任务暂停并启动恢复周期的故障都算一次中断，来源包括 GPU 硅片缺陷、网络 fabric 异常、存储瓶颈、散热限制。2025 年中期的一期阶段，中断率峰值接近每天每 8000 张 GPU 1000 次；经过一年跨团队工程，降低了 99%，现在能同时承载多个数万 GPU 规模的训练任务。拆开来看是四类问题：一是 NVLink 信号完整性，GB200 部署早期的主要瓶颈，超过 60 万条 NVLink 连接，信号稍有衰减就触发恢复周期，Meta 用持续遥测加自动化标记、上线前用 L11 诊断烧机隔离弱链路；二是内存可靠性（HBM 与 LPDDR），随 GB300 容量提升成为主要中断源，靠固件调参、内存巡检、改进的 LPDDR 纠错算法和基于模式的预测性检测，在设备影响吞吐前就退役；三是 NVLink 交换机与 fabric 健康度，单个交换机故障能毁掉整个 NVL72 域，所以做到毫秒级监控加自动恢复路径；四是后端网络事件，在 BAG 超级脊层用硬件级故障检测，平面拓扑保证单根光纤或单端口故障被透明绕开。

故障恢复机制有两个，配合得很巧。PAFT（并行感知容错，arXiv 论文 2602.00277）处理能隔离到单个数据并行副本的故障：只让那一个副本下线，其余集群重复该步继续训练，坏掉的分片在备用主机上重启并重新同步，把「全系统停机」变成「吞吐临时小降」。Checkpointing 处理爆炸半径大于单个副本的故障：整个任务回滚到最近检查点。Meta 的分布式检查点是异步把模型状态（含梯度与优化器数据）写进多层存储，用增量检查点与内存暂存把对吞吐的影响压到最小。两者再叠加预留策略——机架内预置备用 GPU 托盘、以及整机架备用——来缩短替换硬件的上线时间。

还有一层是为「规模化」准备的操作能力，这部分最像制造业而不是互联网。GB200 NVL72 把 scale-up 域从 H100 时代的 8 张 GPU 拉到 72 张，故障爆炸半径直接放大 9 倍，所以硬件成熟度本身变成了工程学科：固件与驱动的批量部署做到几小时内推给 10 万张以上 GPU，单 pod 升级时间的 P90 从早期 7 个多小时压到 2 小时；上线前对 60 万条以上 NVLink 路径做自动化信号筛查；在单卡 1400W 负载下做供电压力测试，找只有大批量才会暴露的失效模式；对冷板与歧管装配设严格质量门，防止泄漏；再加上健康检查、预置备件与归因驱动的问责框架——每个停机都要按根因拆解，Meta 管调度与基础设施，英伟达管固件、信号诊断与内存处理。官方说这套归因机制消除了模糊地带，让双方的修复更快。

最后说清楚边界。第一，这是一篇工程博客，不是财报也不是第三方测评；所有 goodput、MTBI、中断率数字都是 Meta 自述，没有独立验证。第二，「约 100 万张 GPU」是满规模目标，官方明确说当前是数十万张，不要把目标当现状。第三，「Muse Wonder 在这些集群上训练」是官方表述，但具体用了多少卡、训练多久、成本多少，文章没有给。第四，第三代平台 Vera Rubin NVL72 的表述是「即将到来」，没有时间表，本文不替 Meta 排期。第五，中断率从 1000 次降到 10 次量级这件事，官方给的是自家机群的运营数据，其他厂商的集群不适用。