从“能跑”到“快跑”：Instinct GPU 推理延迟优化实战

环境配通、模型加载成功，往往只是万里长征第一步。在 Instinct GPU 上跑通 vLLM 后，很多开发者会发现首字延迟（TTFT）居高不下，或者高并发下吞吐量不增反降。这时候，单纯堆硬件已经不够用了，必须深入到底层执行链路，用一些“土办法”把性能挤出来。今天就不谈那些宏大的架构理论，只分享几个我在 ROCm 7.x 环境下实测有效的延迟优化技巧。

用 rocprof 揪出隐藏的数据拷贝瓶颈

很多时候，延迟高的锅并不在模型计算本身，而在于数据搬运。在 AMD 平台上，rocprof 是个非常好用的性能分析工具，它就像 GPU 世界的“抓包工具”。

有一次遇到生成速度忽快忽慢的问题，我直接用 rocprof 追踪了内核执行情况：

rocprof --output-to-file trace.out vllm serve ...

分析生成的 trace 文件时，惊讶地发现大量时间消耗在 H2D（Host to Device）的数据拷贝上。原来是因为预处理阶段没有做好 pinned memory 优化，导致每次请求都要频繁地在系统内存和显存之间倒腾数据。对于大模型推理，这种微小的拷贝累积起来就是巨大的延迟。解决思路很简单：确保输入数据在传入模型前就锁定在页锁内存中，减少上下文切换带来的开销。这一步优化后，单请求的端到端延迟直接下降了约 15%。

动态调整 Batch Size：在排队与空转之间找平衡

Batch Size 的设置是一门艺术。设得太小，GPU 算力吃不饱，大部分时间在“空转”等待数据填充；设得太大，请求在队列里排队的时间过长，首字延迟反而飙升。

在 Instinct MI300X 上，我做过一组对照实验。固定并发数为 64，分别测试 batch size 为 8、32、128 的表现：

• Batch=8：GPU 利用率不到 40%，Token/s 很低，但 TTFT 极快。
• Batch=128：GPU 利用率飙升至 90%，但平均等待时间过长，P99 延迟不可接受。
• Batch=32：这是一个甜点区，既保证了算力饱和，又将排队延迟控制在毫秒级。

但这还不是终极方案。业务流量是波动的，静态设置注定无法应对所有场景。更聪明的做法是引入动态批处理策略。vLLM 本身支持连续批处理（Continuous Batching），我们可以配合监控脚本，实时观察队列长度。当队列积压超过阈值时，自动调大 max-num-batched-tokens；当流量低谷时，主动缩小批次以减少等待。这种“看菜吃饭”的策略，能让延迟曲线平滑很多。

关闭调试日志：被忽视的 I/O 杀手

这个点听起来很“土”，但极其有效。在开发阶段，为了排查问题，我们往往开启了详尽的 DEBUG 日志，甚至打印每一步的 Tensor 形状。但在生产环境，这些高频的 I/O 操作会成为严重的阻塞点。

特别是在高并发下，大量的日志写入会抢占 CPU 时间片，甚至阻塞 GPU 驱动的回调函数。我曾在一个压测场景中，仅仅通过将日志级别从 DEBUG 调整为 WARNING，并关闭了非关键的算子耗时打印，QPS 就提升了近 20%。

检查你的启动命令，确保没有遗留类似 --verbose 或环境变量 VLLM_LOGGING_LEVEL=debug 的配置。对于生产服务，静默运行才是常态，必要的监控指标交给 Prometheus 去采集，而不是靠打印日志。

网络链路与 max-num-seqs 的联合调优

有时候瓶颈不在服务端，而在网络。如果客户端与服务端跨越了公网或复杂的内网 VLAN，带宽抖动会直接反映在延迟上。先用 iperf3 测一下两端带宽，排除网络拥塞的可能。

确认网络无误后，再回到 vLLM 的核心参数 --max-num-seqs。这个参数限制了单个批次中同时处理的序列数量。在 ROCm 7.x 环境下，我发现默认值往往偏保守。通过逐步增加该值（例如从 256 调至 512 或 1024），观察 RPS（每秒请求数）的变化曲线。

实测数据显示，在 MI300X 上，当 max-num-seqs 提升到一定阈值后，RPS 增长开始放缓，而延迟急剧上升。这个拐点就是我们要找的平衡点。对于追求低延迟的业务，建议将这个值设定在拐点左侧 10% 的位置，牺牲一点点极限吞吐，换取更稳定的响应速度。

优化无止境，但每一步微小的改进，叠加起来就是用户体验的巨大提升。在 Instinct GPU 上做推理优化，关键在于敢于动手 profiling，善于观察数据，别让默认配置限制了硬件的潜能。

200小时GPU算力已就位，快来领取：https://marketing.csdn.net/questions/Q2604140858304426315?utm_source=AIpaper