告别显存溢出，vLLM 在 MI300X 上的调优技巧

2600_96323197

149人浏览 · 2026-06-26 19:14:00

2600_96323197 · 2026-06-26 19:14:00 发布

显存不再是拦路虎：MI300X 上的 vLLM 调优实录

在大模型推理落地的过程中，最让人头疼的往往不是算法逻辑，而是突如其来的“显存溢出（OOM）”。尤其是当我们要部署 Llama 3.1 405B 这种参数量巨大的模型时，传统方案常常因为显存捉襟见肘而不得不削减并发或降低精度。最近我在 AMD Instinct MI300X 上折腾 vLLM 的过程中，深刻体会到了大显存硬件配合高效软件栈带来的红利。MI300X 单卡高达 192GB 的 HBM3 显存，天生就是为了解决这类痛点而生的。今天就来聊聊如何结合 vLLM 的 PagedAttention 机制，在这块卡上把显存用到极致，彻底告别 OOM 焦虑。

吃透 PagedAttention 与显存利用率

vLLM 的核心杀手锏是 PagedAttention，它将 KV Cache 的管理方式从连续内存块变成了类似操作系统的分页模式。在 MI300X 这种大显存设备上，这一机制能极大减少显存碎片。但在实际配置时，gpu-memory-utilization 参数的设置是一门艺术。

很多教程建议直接拉到 0.95 甚至更高，但在生产环境中，我强烈建议将其控制在 0.90 到 0.92 之间。MI300X 虽然显存大，但 ROCm 驱动层和系统内核本身也需要一定的显存开销用于上下文切换和临时缓冲区。如果设置得太满，一旦遇到瞬时流量峰值或长序列请求，极易触发硬性的 OOM 崩溃，导致服务重启。留出 8%-10% 的缓冲空间，相当于给系统买了一份“保险”，能在高负载下保持服务的稳定性，这点冗余换来的可靠性是非常值得的。

量化精度的实战选择：FP8 vs INT8

除了管理策略，模型权重的存储格式直接决定了基线显存占用。在 MI300X 上运行超大模型时，量化几乎是必选项。

FP8 精度：这是目前的甜蜜点。相比 FP16，FP8 能将权重显存占用直接减半。对于 Llama 3.1 405B 这种模型，FP16 可能需要十几张卡才能跑起来，而开启 FP8 后，凭借 MI300X 的大显存优势，我们可以用更少的卡数完成部署，且推理精度损失微乎其微，几乎不影响生成质量。
INT8 精度：虽然显存占用更低，但在 ROCm 7.x 生态下，部分算子的 INT8 支持不如 FP8 成熟，可能会遇到回退到高精度计算的情况，反而影响性能。

在实际测试中，我推荐使用 --quantization fp8 启动参数。这不仅释放了更多显存用于 KV Cache（从而支持更长的上下文），还因为数据吞吐量的减少，间接提升了内存带宽的利用率。

# 示例启动命令：开启 FP8 量化，预留 10% 显存缓冲
vllm serve meta-llama/Llama-3.1-405B-Instruct \
    --tensor-parallel-size 4 \
    --quantization fp8 \
    --gpu-memory-utilization 0.90 \
    --dtype auto \
    --host 0.0.0.0 \
    --port 8000

平衡并发与延迟：max-num-seqs 的调优

有了大显存和量化，是不是并发越高越好？答案是否定的。显存够大不代表能无限塞入请求。vLLM 中的 max-num-seqs 参数控制着单个批次中同时处理的序列数量。

如果这个值设得过大，虽然吞吐量（Token/s）看似上去了，但每个请求的排队等待时间和首字延迟（TTFT）会显著增加，用户体验反而下降。更严重的是，过多的并发序列会导致 KV Cache 频繁换页，增加 GPU 调度开销，甚至引发延迟抖动。

我的经验是进行阶梯式压测。先从默认值开始，逐步增加并发请求数，观察 TTFT 和 P99 延迟的变化曲线。通常在 MI300X 上，找到一个延迟开始明显爬升的拐点，将 max-num-seqs 设定在该拐点的 80% 左右，既能保证高吞吐，又能维持低延迟的丝滑体验。切记，不要为了追求理论最大 QPS 而牺牲响应速度。