半小时跑通：DevCloud 实例初始化与权限配置

很多刚接触 AMD Instinct GPU 的朋友，最容易在“环境配置”这一步劝退。其实只要理清顺序，避开几个常见的权限坑，搭建过程非常顺畅。我们直接从 DevCloud 实例创建开始，打造一个干净、可控的推理环境。

首先，操作系统建议选择 Ubuntu 22.04 LTS，这是目前对 ROCm 7.x 支持最成熟的版本。实例创建好并登录后，千万不要急着装驱动。ROCm 依赖特定的设备节点权限，默认情况下普通用户无法访问。你必须执行以下命令，将当前用户加入 video 和 render 用户组：

sudo usermod -aG video,render $USER

执行完后，务必重启系统（sudo reboot）。这一步看似简单，却是 80% 初学者遇到“驱动装好了但显卡不识别”问题的根源。重启后，可以用 groups $USER 确认自己是否已在这两个组中。

接下来安装 ROCm 7.x 驱动。建议直接添加 AMD 官方软件源进行安装，避免使用第三方打包版本以防内核模块不匹配。安装完成后，先别急着跑深度学习框架，用 rocm-smi 命令检查显卡状态。如果终端能清晰列出 GPU 的温度、功耗、显存使用率及频率策略，说明内核态驱动工作正常。如果报错或无输出，请立刻检查 /dev/kfd 和 /dev/dri 设备节点是否存在。

更关键的一步是验证开发环境。运行 rocminfo 确认系统识别到的 GPU 架构代码（如 gfx90a、gfx942 等），记下这个代码，它在下一步编译 PyTorch 时是必填项。接着，尝试用 hipcc 编译一个简单的 Hello World HIP 程序，如果能成功输出且无链接错误，才代表你的开发环境真正就绪。

核心组件部署：PyTorch 与 vLLM 快速安装

环境底座打好后，核心任务便是构建软件栈。虽然 PyTorch 提供了预编译的 ROCm 版本，但在生产环境或追求极致性能时，源码编译往往是必经之路，尤其是为了适配最新的算子优化。这里有一个极易踩坑的核心点：环境变量设置。

在激活 Conda 虚拟环境后，编译 PyTorch 前必须导出架构变量：

export PYTORCH_ROCM_ARCH="gfx90a" # 替换为你刚才 rocminfo 查到的实际代码

如果忽略这一步，编译出的二进制文件将无法在当前硬件上运行，报错时往往没有任何友好提示，直接崩溃。同时，建议使用 GCC 11 或 Clang 15 作为编译器，版本过高或过低都可能引发链接错误。安装构建依赖（如 ninja, wheel）后，使用以下命令加速编译：

MAX_JOBS=$(nproc) pip install .

PyTorch 安装完毕后，用 python -c "import torch; print(torch.cuda.is_available())" 快速验证。在 ROCm 环境下，PyTorch 通常兼容此接口，若返回 True，则说明后端识别成功。

随后是 vLLM 的安装。vLLM 对 Triton 编译器有强依赖，必须确保安装的 Triton 版本与当前 PyTorch ROCm 后端严格匹配。在执行 pip install vllm 之前，需显式导出 HIP_PATH 指向 ROCm 安装目录（通常为 /opt/rocm），并设置 MAX_JOBS 利用多核 CPU 加速构建：

export HIP_PATH=/opt/rocm
export MAX_JOBS=8
pip install vllm --no-build-isolation

加上 --no-build-isolation 参数可以减少环境隔离带来的依赖冲突。编译完成后，再次确认环境无误，即可进入服务启动阶段。

启动 Llama 3 服务与第一个请求验证

一切准备就绪，终于可以启动第一个推理实例了。我们选择社区支持良好的 Llama 3 8B 模型进行测试。对于单卡显存有限的情况，合理配置启动参数至关重要。

使用 vllm serve 命令拉起服务，重点配置 --gpu-memory-utilization 参数。建议将其设置为 0.9，预留 10% 显存给系统开销，防止因瞬时峰值导致 OOM（内存溢出）。如果你有多张卡，还可以通过 --tensor-parallel-size 指定并行数量。

python -m vllm.entrypoints.api_server \
  --model meta-llama/Meta-Llama-3-8B-Instruct \
  --gpu-memory-utilization 0.9 \
  --port 8000 \
  --host 0.0.0.0

启动过程中，密切观察日志，直到看到 "Uvicorn running on…" 字样，表明服务已成功监听端口。

vLLM 原生兼容 OpenAI API 格式，这使得调用过程变得异常简单。下面是一个完整的 Python 调用示例，演示如何构造请求体、开启流式输出并解析结果。流式输出能让用户体验到打字机般的实时响应效果，对于长文本生成场景尤为重要。

import requests
import json

url = "http://localhost:8000/v1/chat/completions"
headers = {"Content-Type": "application/json"}
payload = {
    "model": "meta-llama/Meta-Llama-3-8B-Instruct",
    "messages": [
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "简述 AMD Instinct GPU 在大模型推理中的优势。"}
    ],
    "max_tokens": 512,
    "temperature": 0.7,
    "stream": True # 开启流式输出
}

response = requests.post(url, headers=headers, json=payload, stream=True)

for line in response.iter_lines():
    if line:
        decoded_line = line.decode('utf-8')
        if decoded_line.startswith("data: "):
            content = decoded_line[6:]
            if content == "[DONE]":
                break
            try:
                data = json.loads(content)
                token = data['choices'][0]['delta'].get('content', '')
                print(token, end='', flush=True)
            except json.JSONDecodeError:
                continue
print() # 换行

这段代码清晰地展示了如何处理流式数据块。在实际应用中，你可以轻松地将此逻辑封装到业务系统中。如果在测试中发现连接被重置或超时，大概率是显存不足导致进程崩溃，或者是防火墙规则阻挡了端口访问，此时需回头检查显存配置和网络设置。

常见坑点排查与优化建议

在实操过程中，遇到报错是常态。最常见的问题是 HIP runtime initialization failed，这通常意味着 ROCm 驱动与当前运行的内核不匹配，或者权限配置有误（比如忘了重启）。另一种高频错误是 illegal instruction，这往往是因为编译 PyTorch 时未指定正确的 PYTORCH_ROCM_ARCH，导致生成的二进制文件包含当前硬件不支持的指令集。

如果遇到显存溢出（OOM），除了调低 --gpu-memory-utilization，还可以尝试调整 --block-size 参数。较小的 block size 能提高细粒度利用率，适合变长序列场景；较大的 block size 则管理开销更小。此外，若模型支持，开启 --quantization fp8 选项不仅能减少显存占用，还能显著提升推理速度，但在 ROCm 环境下需确认量化算子是否已被后端完全支持。

最后，保持环境的纯净至关重要。建议使用 Conda 隔离项目依赖，并在安装前彻底清理旧的缓存文件。通过上述步骤，你应该已经在 AMD Instinct GPU 上成功跑通了 Llama 3 模型的推理全流程。这套最小可行产品（MVP）路径不仅适用于本地测试，也为后续探索多卡并行、高性能监控等高级特性打下了坚实基础。