大模型推理的内存墙：MI300X 与 H100 的选型账本

在技术决策的桌面上，Llama 3.1 405B 不仅仅是一个模型参数，它更像是一块试金石，直接拷问着现有硬件架构的底线。当我们把目光从训练转向大规模推理时，算力不再是唯一的瓶颈，显存容量和带宽往往成了决定项目生死的关键。最近我在评估下一代推理集群时，拿着 AMD Instinct MI300X 和 Nvidia Hopper H100 的参数表反复推演，发现这场对决的核心并不在于谁的理论峰值更高，而在于谁能更优雅地装下这个庞然大物。

显存容量的硬约束：810GB 权重的现实挑战

要跑通 Llama 3.1 405B，首先得解决“装得下”的问题。根据实测数据，该模型在 FP16 精度下，仅权重就需要占用约 810 GB 的显存。如果再加上推理过程中必要的 KV Cache 和激活值开销（通常预留 30% 的缓冲空间），总需求直奔 1053 GB 而去。

这个数字对 Nvidia H100 来说相当尴尬。单张 H100 SXM 配备 80 GB HBM3 显存，这意味着即便不考虑任何开销，单纯存放权重就需要至少 11 张卡。而在实际的八路服务器配置中，单台 HGX H100 服务器总共提供 640 GB 显存，连权重都装不下，必须跨节点部署。这不仅增加了通信延迟，还让系统拓扑变得极其复杂。若强行上 FP16，你可能需要两台八路服务器才能勉强启动服务，这对成本和功耗都是巨大的负担。

反观 AMD MI300X，单卡即拥有 192 GB HBM3 显存。在标准的八路系统中，总显存高达 1536 GB。这是一个质的飞跃：它不仅轻松容纳了 1053 GB 的 FP16 全量需求，甚至还留出了近 500 GB 的空间用于更大的上下文窗口或更高的并发请求。换句话说，一台 MI300X 服务器就能独立运行 Llama 3.1 405B 的 FP16 版本，而 H100 则需要至少两台。这种“单机即服务”的能力，在架构设计上简化了网络拓扑，降低了多机通信带来的不确定性。

精度博弈与 GPU 数量计算

当然，生产环境中我们很少直接使用 FP16 进行推理，FP8 甚至 INT4 量化才是主流。让我们算一笔细账。

当精度降至 FP8 时，Llama 3.1 405B 的权重大小减半至 405 GB，加上开销总计约 526.5 GB。

• Nvidia H100 方案：单台八路服务器（640 GB）此时可以勉强装下，但显存利用率已接近 82%，留给 KV Cache 的空间非常紧张，长文本场景下极易 OOM（内存溢出）。若要保证稳定服务，可能仍需考虑双机冗余或严格的批处理限制。
• AMD MI300X 方案：总显存 1536 GB，加载 FP8 模型后仅占用约 34%。剩余的 1000+ GB 显存可以用于极大规模的 Batch Size 或超长上下文（如 128K+），这在处理复杂文档分析或长对话历史时是巨大的优势。

如果进一步量化到 FP4，数据量再次减半，H100 的单机压力会缓解，但 MI300X 的优势依然存在——它允许你在单卡上运行更大参数的模型，或者在同一台服务器上部署多个模型实例，实现真正的多租户隔离。

从 GPU 数量来看，若要构建一个支持高并发的 405B 推理集群：

• 使用 H100，你可能需要 16 张卡（2 台服务器）来确保 FP16/FP8 下的稳定性与余量。
• 使用 MI300X，8 张卡（1 台服务器）不仅足够，还能提供更高的显存带宽冗余。

成本与每美元性能的真实对比

抛开性能谈成本是耍流氓，但脱离场景谈性价比也是空中楼阁。假设基础服务器平台（双路 CPU、2TB 内存、高速网络）成本约为 15 万美元，我们叠加 GPU 成本进行估算（参考市场价：MI300X 约$20,000/张，H100 约$22,500/张）。

• MI300X 八路系统：基础 15 万 + 8 * 2 万 = 31 万美元。这台机器能独立运行 FP16 模型，且显存充裕。
• H100 八路系统：基础 15 万 + 8 * 2.25 万 = 33 万美元。但这台机器无法独立运行 FP16 模型，若要达到同等能力需购买两台，总成本飙升至 66 万美元。

即便只比较 FP8 场景，单台 H100 服务器虽然能跑，但显存捉襟见肘，扩展性差。而 MI300X 在提供双倍显存容量的同时，整机价格反而更低。在“每美元显存容量”这一指标上，MI300X 几乎是对 H100 的碾压。对于显存敏感型的大模型推理，MI300X 的每美元有效性能比 H100 高出 40% 以上，这还没计算因减少服务器节点而节省的网络交换机、机柜空间和电力成本。

当然，必须客观承认，Nvidia 在峰值浮点运算能力（TFLOPS）上依然保持领先，特别是在 B100/B200 等新架构发布后，其计算密度令人印象深刻。如果你的业务是计算密集型而非显存密集型（例如小模型的高吞吐推理，或特定的科学计算），Nvidia 的生态优势和纯算力或许更合适。但在 Llama 3.1 405B 这种“显存巨兽”面前，算力再强也怕没地方落脚。

面向未来的扩展性思考

选型不仅是为了解决今天的问题，更是为了明天不推倒重来。大模型参数量的增长趋势并未放缓，未来的 800B 甚至万亿参数模型将对显存提出更苛刻的要求。MI300X 的 192GB 大显存设计，实际上是为未来两代模型预留了入场券。相比之下，80GB 的 H100 在面对下一代模型时，可能不得不依赖更激进的量化手段，从而牺牲模型智商。

此外，AMD 在 ROCm 生态上的进步有目共睹，尤其是在 PyTorch 原生支持和 vLLM 等推理框架的适配上，迁移成本已大幅降低。对于架构师而言，选择 MI300X 意味着用更低的 TCO（总拥有成本）换取了更大的实验空间和更长的硬件生命周期。

在这场大模型推理的军备竞赛中，没有绝对的赢家，只有最适合场景的选择。但对于那些被显存墙挡在门外的 405B 项目来说，MI300X 无疑是一把更趁手的钥匙。它提醒我们，在 AI 基础设施的棋盘上，有时候“大”本身就是一种正义。

200 小时 GPU 算力已就位，快来领取：https://marketing.csdn.net/questions/Q2604140858304426315?utm_source=AIpaper