从环境劝退到推理跑通：DevCloud 上 ROCm 7.x 实战手记

手里握着 AMD Instinct 显卡资源，本想在大模型推理上一展身手，结果往往在第一道门槛——环境配置上就栽了跟头。ROCm 生态的复杂性确实名不虚传，驱动版本细微差异、编译器依赖冲突、环境变量缺失，任何一个环节出错都可能导致服务无法启动，甚至加载模型时直接崩溃。最近在 DevCloud 上从零搭建 ROCm 7.x + PyTorch + vLLM 推理栈的过程中，我踩了不少坑，也总结了一套相对稳妥的落地流程。如果你也正被环境配置折磨，希望这篇实录能帮你少走弯路。

基础环境清洗与用户组权限陷阱

在动手安装任何软件之前，确保操作系统层面的基础环境干净且版本受控是至关重要的。我推荐使用 Ubuntu 22.04 LTS，较新的内核对硬件调度支持更好。实例创建完成后，很多人急着装驱动，却忽略了最基础的权限配置，这往往是后续“驱动识别不到”或"Permission denied"错误的根源。

AMD GPU 的调用依赖于特定的用户组权限。必须将当前用户加入 video 和 render 组，否则内核态驱动无法正常访问硬件设备。执行以下命令后，务必重启系统才能生效：

sudo usermod -aG video,render $USER
# 重启后再次登录验证
groups

重启后，检查输出中是否包含 video 和 render。这一步看似简单，但我第一次部署时就因为忘了重启，导致后续所有驱动验证命令都报错，白白浪费了两小时排查时间。

接下来是工具链的检查。ROCm 7.x 对编译器版本比较敏感，GCC 11 或 Clang 15 是比较稳妥的选择。如果系统默认版本过高（如 GCC 13）或过低，建议通过 update-alternatives 进行切换：

sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-11 100
sudo update-alternatives --install /usr/bin/g++ g++ /usr/bin/g++-11 100
gcc --version  # 确认版本为 11.x

此外，CMake 建议保持在 3.20 以上，Python 环境强烈建议使用 Conda 创建独立虚拟环境，避免污染系统包。

驱动验证与架构代码确认

驱动安装完成后，切勿直接跳过验证环节去装 PyTorch。rocm-smi 是检查显卡状态的“听诊器”，运行该命令若能清晰列出 GPU 的温度、功耗、显存占用及频率策略，说明内核态驱动工作正常：

rocm-smi

如果输出为空或报错，需立即检查 /dev/kfd 和 /dev/dri 设备节点是否存在。进一步地，使用 rocminfo 获取详细的硬件架构信息：

rocminfo | grep gfx

这一步至关重要！你需要确认系统识别到的架构代码（如 gfx90a 对应 MI250X，gfx942 对应 MI300 系列）。这个代码将直接用于后续编译时的环境变量设置。若忽略此步或指定错误，生成的二进制文件将在运行时直接崩溃且无友好提示，只会报一个神秘的"illegal instruction"。

源码编译中的关键环境变量

虽然 PyTorch 提供了预编译的 ROCm 版本，但在生产环境中，为了获得最佳算子性能和对新特性的支持，源码编译往往是必经之路。编译 PyTorch 时，最核心的环境变量是 PYTORCH_ROCM_ARCH。

在激活 Conda 环境后，必须先导出该变量：

export PYTORCH_ROCM_ARCH="gfx942"  # 替换为你实际的架构代码
export HIP_PATH=/opt/rocm
export MAX_JOBS=8  # 利用多核加速编译

随后安装构建依赖并编译 PyTorch：

pip install ninja wheel
git clone --recursive https://github.com/pytorch/pytorch.git
cd pytorch
python setup.py install

待 PyTorch 安装完毕，快速验证后端识别状态：

python -c "import torch; print(torch.cuda.is_available())"
# 在 ROCm 环境下通常返回 True，表示后端可用

接下来是 vLLM 的编译。vLLM 对 Triton 编译器有强依赖，需确保安装的 Triton 版本与当前 PyTorch 版本匹配。若遇到算子不支持或链接错误，可尝试添加 --no-build-isolation 参数以减少环境隔离带来的依赖冲突：

pip install vllm --no-build-isolation

如果在编译过程中遇到链接器找不到 HIP 库的错误，通常是因为 LD_LIBRARY_PATH 未正确包含 ROCm 的 lib 目录。解决方法是在 .bashrc 中永久导出该路径：

echo 'export LD_LIBRARY_PATH=/opt/rocm/lib:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc

显存优化与服务启动

大模型推理的核心瓶颈在于显存管理。vLLM 引入的 PagedAttention 技术虽大幅提升了利用率，但在 AMD 平台上仍需精细调优。启动服务时，--gpu-memory-utilization 参数至关重要。建议将其设置为 0.90 至 0.92 之间，而非激进的 0.95，预留少量显存给系统开销和驱动缓冲，能有效防止因瞬时峰值导致的 OOM 崩溃。

vllm serve meta-llama/Llama-3-8B-Instruct \
    --host 0.0.0.0 \
    --port 8000 \
    --gpu-memory-utilization 0.90 \
    --tensor-parallel-size 1

一旦看到"Uvicorn running on…"字样，说明服务已成功拉起。利用 curl 向 /v1/completions 接口发送测试数据，重点关注返回的 JSON 结构是否完整，生成的文本是否流畅。

从驱动验证到源码编译，每一个环节的严谨配置都是服务稳定运行的基石。ROCm 生态正在快速成熟，只要理清依赖链条，掌握关键配置参数，完全可以在 AMD 平台上构建出高效可靠的推理服务。如果你也想亲手试试这套流程，但苦于本地没有合适的硬件资源，现在有个不错的机会：200 小时 GPU 算力已就位，快来领取：https://marketing.csdn.net/questions/Q2604140858304426315?utm_source=AIpaper