把一整台超级计算机的 AI 算力，压进一个机柜——NVIDIA 的 GB200 NVL72 就是这么干的。

一个机柜里塞着 72 颗 Blackwell GPU、36 颗 Grace CPU，满载功耗约 130 kW，整机重约 1.3 吨，在 FP4 精度下理论峰值超过 1.4 exaFLOPS ！

本文逐层拆解这个性能猛兽：从最小的构建块——一颗「超级芯片」开始，到单颗 GPU 的内部，再到把 72 颗 GPU 连成「一颗大 GPU」的机架网络。

---

1. GB200 超级芯片

NVIDIA 扩展 AI 的思路，是从一个「超级芯片（superchip）」模块起步的：把一颗基于 ARM 的 CPU 和一到两颗 GPU 封装在同一个模块里，用高速接口紧紧绑在一起，让它们表现得像一个统一的计算引擎。

GB200 超级芯片把 1 颗 Grace CPU 夹在中间、两侧各放 1 颗 Blackwell GPU，三块芯片共享同一块统一内存。

Grace Blackwell 超级芯片模块：中央一颗 Grace CPU，左右两颗 Blackwell GPU，由封装内的 NVLink-C2C 高速链路相连，共享统一内存。

关键在于那条 NVLink-C2C

传统系统里，CPU 和 GPU 各有各的内存，靠一条相对慢的 PCIe 总线通信，数据得在两边来回拷贝。超级芯片用一条定制的 NVLink-C2C（chip-to-chip） 链路把它们连起来，带宽高达约 900 GB/s。

对比一下就知道这有多快：

链路	单向带宽
PCIe Gen5 ×16（B200）	~64 GB/s
PCIe Gen6 ×16（B300）	~128 GB/s
NVLink-C2C（GB200）	~450 GB/s（双向合计 ~900）

比典型 PCIe 快了一个数量级。更关键的是，它是缓存一致（cache-coherent）的——CPU 和 GPU 看到的永远是同一份数据，谁都能直接读写对方的内存，不需要显式拷贝。NVIDIA 把这套统一寻址的内存叫做扩展 GPU 内存（Extended GPU Memory, EGM），它基本抹平了 CPU 内存和 GPU 内存的边界。

接近 1 TB 的统一内存，不再为「OOM」困扰

每颗 GB200 超级芯片带着海量内存：

• Grace CPU：约 480 GB LPDDR5X，带宽约 500 GB/s；
• 两颗 Blackwell GPU：合计约 384 GB HBM3e（每颗 192 GB）；
• 在统一地址空间里，向程序暴露出约 900 GB 一致、统一的内存。

也就是说，每颗超级芯片提供约 1 TB 的快速统一内存。这对超大模型是颠覆性的：过去单颗 GPU 内存常被卡在 100 GB 以下，比这更大的模型只能被切分、或卸载到慢速存储——很多人都被那句 out of memory 折磨过。

现在，如果某一块数据装不进 GPU 的 HBM，它可以待在 CPU 内存里，GPU 仍能通过 NVLink-C2C 直接操作它。一个 500 GB 的模型（对单颗 GPU 的 HBM 来说太大）可以整个塞进一个超级芯片模块，溢出的部分落在 CPU 的 LPDDR5X 上，而不必再跑去 NVMe SSD 或跨网络。

当然，天下没有免费午餐：经 NVLink-C2C 访问 LPDDR5X，带宽比直接访问 HBM 大约低一个数量级、延迟也更高。最好的做法是把最热的数据留在 HBM、把溢出和冷数据放到 CPU 内存，再用异步预取、分阶段流水线隐藏延迟。

Grace CPU：不当瓶颈的「喂料工」

夹在中间的 Grace 不是凑数的。它是一颗为带宽和能效定制的 ARM Neoverse V2 CPU，时钟中等，但靠巨大的内存带宽（对 LPDDR5X 约 500 GB/s）和超过 100 MB 的 L3 缓存弥补了时钟不足。它的职责是处理通用任务、预处理数据、tokenize 等等，然后通过 NVLink-C2C 高效地把数据喂给 GPU——理念很简单：在向 GPU 灌数据时，CPU 绝不能成为瓶颈。

由于 CPU 和 GPU 本质上在同一块板上、延迟极低，从 CPU 启动一个 GPU 内核，比在传统 PCIe 系统上快得多——更像调用一个本地函数，而不是一个慢吞吞的远程调用。

---

2. Blackwell GPU

把超级芯片再往里拆，单颗 Blackwell GPU 内部也有很多对追求性能的极致设计。

双芯粒：双 die，一颗「逻辑 GPU」

Blackwell B200/B300 并不是单芯片。单颗硅芯粒（die）受制造工艺限制，面积有上限。NVIDIA 干脆把两块 GPU 芯粒放进一个模块（多芯片模块，MCM），用一条封装内的超高速链路连起来，让模块的晶体管上限直接翻倍。

两块芯粒之间是 NV-HBI（High-Bandwidth Interface），带宽高达 10 TB/s。靠这条链路，两块芯粒像一颗统一的 GPU 那样工作——软件层只看到一颗 GPU，NVIDIA 的调度负责把计算任务在两块芯粒间摊平、把内存访问保持一致。开发者基本可以忽略这层复杂度。

合并之后，一颗 B200 参数如下：

• 2080 亿晶体管（每块芯粒约 1040 亿）；
• 192 GB HBM3e，其中 180 GB 可用（ECC、固件占用等消耗约 12 GB）；
• 显存带宽约 8 TB/s；
• 126 MB L2 缓存（每块芯粒 63 MB）。

横向对比上一代 Hopper H100（约 800 亿晶体管、80 GB HBM3、3.35 TB/s、50 MB L2）：晶体管翻倍有余，内存带宽约 2.4×，L2 缓存约 2.5×。更大的缓存意味着更多权重和中间结果能留在片上，少回 HBM 取数——GPU 的计算单元更不容易「饿肚子」。

低精度，高吞吐

每个流式多处理器里都提供 Tensor Core——专门高速做矩阵乘法的单元。Blackwell 的 Tensor Core 支持更激进的低精度格式： 8 位甚至 4 位浮点。

逻辑很朴素：用更少的位表示一个数，相同时间里就能算更多、内存里也能装更多。前提是算法能容忍一点点精度损失——而如今多数大模型在设计时就考虑了这件事。

NVIDIA 用 Transformer 引擎 （Tensor Core + 动态精度管理算法）实现混合精度：关键层用较高精度（FP16/BF16），不那么敏感的层用 FP8，再到 Blackwell 新增的 NVFP4（4 位浮点）。每降一档精度，吞吐大致翻倍、每个参数的内存占用减半。在框架里启用混合精度，可以大大提高计算性能。

GPU 内部的内存层级

每颗 Blackwell GPU 由数百个 流式多处理器（SM） 组成——可以理解成 GPU 的「核心」。SM 以 32 个线程为一组（一个 warp）锁步执行同一条指令，这叫 SIMT（单指令多线程）。

一个 SM 上同时有数十个 warp 在跑。当某个 warp 等内存取数时，调度器立刻切到另一个就绪的 warp 继续算——这就是 GPU 性能优化常用的 延迟隐藏（latency hiding）。

数据来源不同，速度天差地别。GPU 内存是个金字塔结构：

性能优化的第一性原理：让可复用的数据尽量停在层级高处，少回片外 HBM。 哪怕 HBM 有 8 TB/s，每次操作都要去够它，GPU 也会因为访存延迟频繁停顿；而把热数据压在共享内存或 L2 里，就能逼近峰值算力。Blackwell 把缓存和带宽双双翻倍，目的正是让这头巨兽「吃得饱、跑得欢」。

性能飞跃：比上一代快 30 倍

这些改进叠加起来有多猛？NVIDIA 给过一个直接的对比：在一个超过 1.8 万亿参数的 MoE 大模型上——

• 基于 H100 的系统：每颗 GPU 每秒只能生成约 3.4 个 token，首 token 延迟超过 5 秒——交互体验基本不能用；
• 基于 Blackwell 的 NVL72：每颗 GPU 每秒约 150 个 token，首 token 延迟低到约 50 毫秒。

实时吞吐提升约 30×。这不是单靠 FLOPS——它是更快的 GPU、更低的精度（FP4），给 GPU 持续喂数据的「互连」，三者合力的结果。而「互连」正是下一层要拆解的东西。

---

3. 把 72 颗 GPU 连成「一颗大 GPU」

一颗超级芯片已经很强了。真正的挑战是：怎么把几十颗这样的芯片连起来，让它们对软件而言像一颗巨型 GPU。

一个计算托盘 = 4 GPU + 2 CPU

NVL72 由 **18 个计算节点（托盘）**组成，每个 1U 托盘里装两颗 GB200 超级芯片——也就是 4 颗 Blackwell GPU + 2 颗 Grace CPU。

18 个托盘 × 4 GPU = 72 颗 Blackwell GPU，18 × 2 = 36 颗 Grace CPU。这就是 NVL72 中「72」的由来。

NVLink 5 + NVSwitch：全互连，一跳直达

光把 72 颗 GPU 装进一个机柜还不够，得让它们彼此之间高速对话。每颗 Blackwell GPU 暴露 18 个 NVLink 5 端口，聚合双向带宽 1.8 TB/s（18 条链路 × 100 GB/s）——是 Hopper 的两倍。

这 18 条链路通向 NVSwitch：一种专为 NVLink 打造的交换芯片。NVL72 里有 9 个交换托盘、每托盘 2 块 NVSwitch，共 18 块。每颗 GPU 的 18 条 NVLink 各连一块 NVSwitch：

结果是：任意两颗 GPU 之间只隔「一跳」（GPU → NVSwitch → GPU），延迟在个位数微秒级；整个 72-GPU 网络的对分带宽约 130 TB/s，且对所有 GPU 提供全局地址空间。72 颗 GPU 因此可以被当作一台机器来用。

为什么这件事如此重要

把同样的 72 颗 GPU 换成传统方案——比如 9 台各装 8 颗 H100 的服务器、用 InfiniBand 组网：

	NVL72（机架内 NVLink）	72-GPU H100（InfiniBand）
每 GPU 带宽	~1.8 TB/s	~20–80 GB/s
GPU 间延迟	1–2 微秒	5–10 微秒甚至更高
集合通信开销	几个百分点	数十个百分点

在 InfiniBand 集群里，GPU 之间通信成了首要瓶颈，扩展效率被严重拖累；而在 NVL72 内部，通信快到几乎可以忽略，吞吐能近乎线性地扩展到 72 颗 GPU。

这给软件设计立了一条规矩：尽量把通信限制在机架内（intra-rack），吃满 NVLink/NVSwitch；只有当算力和内存确实超出单个 NVL72，才退而求其次走机架间（inter-rack）的 InfiniBand 或以太网。

SHARP：把「reduce」直接卸进交换机

还有一招硬件级的优化。分布式训练里，「把各 GPU 的梯度求和」这类 reduce 操作极其频繁。传统做法是 GPU 之间互传全部数据、再在 GPU 上做加法，既占算力又增延迟。

NVIDIA 的 SHARP（可扩展分层聚合与规约协议） 把这步直接搬进了 NVSwitch 芯片：

各 GPU 把部分结果传到 NVSwitch，NVSwitch 在网络内部就把它们加好，再把结果广播回去。GPU 不必互传全部数据，于是延迟更低、穿过网络的流量更少、GPU 得以专注计算。在大模型训练里，集合通信每省一微秒都有可能是一个显著的提升——SHARP 让扩展效率更接近线性。

出了机架怎么办

机架内走 NVLink，一旦跨出机架，就回到更传统的网络硬件。每个计算节点配了高速网卡和 BlueField-3 DPU（数据处理单元）：DPU 把 RDMA、存储（NVMe-over-Fabrics）、网络协议等任务从 CPU 卸载下来，用 GPUDirect RDMA 直接在网卡和 GPU 内存之间搬数据，全程不打扰 CPU。

典型配置是每节点 4 块 ConnectX-8 800 Gb/s 网卡（每节点 3.2 Tbit/s、每机架约 57.6 Tbit/s），接入 Quantum-X800 InfiniBand 或 Spectrum-X800 以太网。多个 NVL72 机架就这样连成更大的集群——NVIDIA 称之为 AI 工厂（AI factory）。

---

4. 数据中心基础设施

把 72 颗顶级 GPU 塞进一个机柜，代价是把数据中心基础设施推到极限。

130 kW：一座微型变电站

满载的 NVL72 功耗约 130 kW，是上一代 AI 机架（50–60 kW）的两倍多。每个节点两颗超级芯片约 6 kW，18 个节点约 110 kW，再加 NVSwitch、网络、水泵和风扇约 20 kW。

耗电量这么大，单路供电是不够的。数据中心通常拉两路完全独立的馈线，每一路都按能扛下整机负载来设计——万一一路掉了，另一路也能顶住全部 130 kW，避免一路故障断电导致停机。

还有个细节：72 颗 GPU 从空闲冲到满功率时，可能在几毫秒内骤拉几十 kW。系统会把各 GPU 的加速时钟错开极小的间隔，让它们不在同一微秒一起飙升，从而平滑掉电流飙升带来的冲击。

全液冷：唯一可行解

在一个机架里散掉 130 kW，已经超出风冷的能力。给 72 颗各耗散约 1200 W 的 GPU 吹风，需要飓风般的气流，又吵又低效。所以 NVL72 是全液冷系统。

每颗超级芯片、每块 NVSwitch 都贴着一块冷板（cold plate）——内部走水的金属板。冷却液在冷板里流动带走热量，再经软管、水泵循环，最后通过**冷却液分配单元（CDU）**把热量交换给数据中心的水回路。

设施侧通常供 20–30°C 的冷水；先进设计甚至用温水冷却（30°C 进、45°C 出），出来的热水靠蒸发冷却塔自然降温，无需主动制冷，更省能。经过水冷，GPU 温度被压在 50–70°C，几乎不触发热降频，能持续跑在最高时钟，可靠性和能效也更好。

机架里还遍布温度、压力和漏液检测传感器；上面那张布局图最底下一格的「防漏托盘（drip tray）」，就是全液冷系统的兜底——一旦渗漏，能迅速隔离止损。

代价之一是重量：装满硬件和冷却液后，一个 NVL72 机架约 1.3 吨，差不多一辆小汽车的重量压在地面上。数据中心得先确认地面扛得住，搬运还得动用叉车。

预集成：开箱即用

因为太复杂，NVIDIA 干脆把 NVL72 当成一个**预集成的机架「设备」**整体交付：18 个计算节点、9 个 NVSwitch 单元、内部 NVLink 布线、配电和液冷系统，出厂就装好、连好、验证过。用户只需接上设施电力、对好水冷接口、把 InfiniBand 线插进自己的网络，通电即可——不必为 72 颗 GPU 一根根拉 NVLink 线。

---

总结：这是一台「协同设计」的机器

把 NVL72 逐层拆解完，会发现一条贯穿始终的主线——协同设计。

CPU 和 GPU 被融成一体，消除了数据搬运的瓶颈、给出近 1 TB 的统一内存；几十颗 GPU 被超高速网络连成「一颗大 GPU」，通信延迟低到可以忽略；内存子系统被扩容、加速，满足 GPU 对内存的需求；连供电和散热都被推到新高度，才托得住这样的算力密度。芯片、电路板、网络、散热——整条技术栈是端到端一起优化出来的。

成果是：一个机架，交付出过去要靠多机架超算才能交付的性能。 一个旧基础设施上要训一个月的模型，在 NVL72 可能几天搞定；过去每次查询要等几秒的推理，如今成了毫秒级的实时——万亿参数的交互式助手与智能体，由此成为可能。

NVIDIA 几乎每一代都让某项关键指标翻倍：Blackwell 把单 GPU 做成双芯粒、把 NVLink 双向带宽从约 900 GB/s 翻到 1.8 TB/s；紧随其后的 Blackwell Ultra（GB300）把单 GPU 内存从 180 GB 提到 288 GB、推理吞吐再涨约 45–50%；2026 年的 Vera Rubin、2028 年的 Feynman 还会把算力、内存和互连继续往上翻。硬件规格会不断解锁，今天难以企及的模型，几年后可能就是常态。

总之，NVL72 的厉害，不在某一颗芯片有多快，而在于每一个组件都只为同一个目标而生——尽可能释放 AI 算力。

---

附：关键数字速查表

层级	部件	关键规格
超级芯片	GB200	1 Grace + 2 Blackwell GPU；NVLink-C2C ~900 GB/s，缓存一致；统一内存 ~900 GB
CPU	Grace	ARM Neoverse V2；~480 GB LPDDR5X，~500 GB/s；>100 MB L3
GPU	Blackwell B200	双芯粒 MCM，NV-HBI 10 TB/s；2080 亿晶体管；180 GB 可用 HBM3e，~8 TB/s；126 MB L2
精度	Tensor Core / TE	FP16 → FP8 → FP4，每档吞吐 ×2；机架 FP4 峰值 >1.4 exaFLOPS
节点	计算托盘（1U）	2 超级芯片 = 4 GPU + 2 CPU；共 18 个
机架	NVL72	72 Blackwell GPU + 36 Grace CPU
网络	NVLink 5 / NVSwitch	每 GPU 18 链路 = 1.8 TB/s；18 块 NVSwitch，全交叉；对分带宽 ~130 TB/s；一跳直达
网内计算	SHARP	规约卸载进 NVSwitch，降延迟、减流量
机架间	BlueField-3 DPU / ConnectX-8	每节点 4 × 800 Gb/s = 3.2 Tbit/s；InfiniBand / 以太网
供电	—	满载 ~130 kW；双路冗余馈线
散热	全液冷	冷板 + CDU；GPU 50–70°C；整机 ~1.3 吨
性能飞跃	vs H100	1.8T MoE 实时吞吐约 30×（3.4 → 150 token/s/GPU）

---

附：GB200 NVL72 官方规格表

规格	GB200 NVL72	GB200 Grace Blackwell 超级芯片
配置	36 Grace CPU ｜ 72 Blackwell GPU	1 Grace CPU ｜ 2 Blackwell GPU
NVFP4 Tensor Core²	1,440 ｜ 720 PFLOPS	40 ｜ 20 PFLOPS
FP8/FP6 Tensor Core²	720 PFLOPS	20 PFLOPS
INT8 Tensor Core²	720 POPS	20 POPS
FP16/BF16 Tensor Core²	360 PFLOPS	10 PFLOPS
TF32 Tensor Core²	180 PFLOPS	5 PFLOPS
FP32	5,760 TFLOPS	160 TFLOPS
FP64 / FP64 Tensor Core	2,880 TFLOPS	80 TFLOPS
GPU 内存 ｜ 带宽	13.4 TB HBM3E ｜ 576 TB/s	372 GB HBM3E ｜ 16 TB/s
NVLink 带宽	130 TB/s	3.6 TB/s
CPU 核心数	2,592 个 Arm Neoverse V2 核心	72 个 Arm Neoverse V2 核心
CPU 内存 ｜ 带宽	17 TB LPDDR5X ｜ 14 TB/s	最高 480 GB LPDDR5X ｜ 最高 512 GB/s

注：标 ² 的行是**启用稀疏（sparsity）**后的峰值，稠密算力约为其一半。NVFP4 一列的「1,440 ｜ 720」即「稀疏 ｜ 稠密」两种口径。