环境准备与驱动验证

对于手持 Radeon 显卡的开发者来说，想在本地 Linux 桌面上跑通大模型，最大的拦路虎往往不是模型本身，而是 ROCm 生态的适配。不同于 NVIDIA 那种“开箱即用”的省心，AMD 在消费级显卡上的支持需要更多手动干预。我使用的是 Ubuntu 22.04 LTS 系统，这是目前社区验证最稳定的底座。

安装 ROCm 驱动前，务必确认内核版本。过旧的内核可能缺少必要的 KFD（Kernel Fusion Driver）模块，导致显卡无法被计算框架识别。安装完成后，不要急着装 Ollama，先运行 rocm-smi 命令。如果终端能清晰列出你的显卡型号、温度、显存占用以及功耗策略，说明内核态驱动工作正常。这一步非常关键，很多小伙伴遇到"Ollama 无法调用 GPU"的问题，根源都在这里——驱动根本没加载成功。

这里有个重要的认知差异：专业卡与消费卡的架构区别。Instinct 系列（如 MI300）是数据中心级产品，原生支持所有 ROCm 特性；而我们的 Radeon 游戏卡（如 RX 7900 XT/XTX 或更早的 6000 系列）属于消费级架构。虽然核心计算单元相似，但在官方支持列表中，部分新出的消费卡可能需要手动指定架构代码（如 gfx1030 或 gfx1100）才能绕过版本检查。如果在 rocm-smi 中能看到卡，但后续软件报错，大概率是架构标识不匹配。

配置环境变量与 Ollama 部署

当驱动层验证通过后，接下来就是让 Ollama 真正“看见”显卡。在 Linux 环境下，Ollama 依赖 HIP 后端来调度 AMD GPU，而它默认并不总是能自动捕获所有设备，尤其是在多显卡或混合插拔的环境中。

最稳妥的方法是显式设置 HIP_VISIBLE_DEVICES 环境变量。假设你的 Radeon 显卡在 rocm-smi 中显示为 ID 0，你需要在启动 Ollama 服务前导出该变量：

export HIP_VISIBLE_DEVICES=0
ollama serve

如果你是通过 systemd 服务运行的 Ollama，则需要修改服务配置文件。编辑 /etc/systemd/system/ollama.service，在 [Service] 段落下添加：

Environment="HIP_VISIBLE_DEVICES=0"
Environment="HSA_OVERRIDE_GFX_VERSION=11.0.0"

其中 HSA_OVERRIDE_GFX_VERSION 是针对部分未被官方 ROCm 版本直接支持的新一代 Radeon 显卡的“作弊码”。例如，如果你的卡是 RDNA3 架构但 ROCm 版本较旧，将其强制映射为相近的架构版本（如 11.0.0 对应 gfx1100）往往能解决“非法指令”或“设备不可见”的报错。修改完成后，执行 sudo systemctl daemon-reload 并重启服务。

此时，拉取一个模型进行测试：

ollama run llama3:8b

观察终端输出，如果看到类似 offloading 33 layers to GPU 的提示，恭喜你，模型权重已经成功加载到显存中，而不是挤在系统内存里。

性能实测与常见问题排查

为了直观感受 GPU 加速的效果，我对比了纯 CPU 推理与 Radeon GPU 加速的表现。测试模型为 Llama 3 8B，提示词长度为 50 tokens，生成长度设定为 200 tokens。

• CPU 模式（Ryzen 7950X）：生成速度约为 4-6 tokens/s，风扇狂转，系统响应明显变慢。
• GPU 模式（Radeon RX 7900 XTX）：生成速度稳定在 45-55 tokens/s，首字延迟（TTFT）从 3 秒降低至 0.5 秒以内，且系统整体流畅度未受影响。

这种数量级的提升对于本地调试 Prompt 或构建 RAG 应用至关重要。不过，实践过程中也遇到了一些坑，主要集中在内核模块加载失败上。

常见故障一：权限不足
运行 ollama 时报错提示无法访问 /dev/kfd 或 /dev/dri。这是因为当前用户不在 video 和 render 用户组中。
解决方法：

sudo usermod -aG video,render $USER
# 必须注销并重新登录，或重启系统生效

常见故障二：内核更新后驱动失效
Linux 内核自动升级后，ROCm 的内核模块可能未能重新编译匹配，导致 rocm-smi 无输出。
解决方法：重新安装 ROCm 包以触发 DKMS 编译，或者暂时引导至旧版内核。对于追求稳定的生产环境，建议锁定内核版本，避免自动更新。

常见故障三：显存溢出（OOM）
虽然 Radeon 显存较大，但如果同时运行图形界面和其他重型应用，留给大模型的显存可能不足。Ollama 会 fallback 到 CPU，导致速度骤降。
解决方法：关闭不必要的图形程序，或通过 OLLAMA_NUM_PARALLEL 限制并发数，确保单请求能独占足够显存。

本地 Radeon 跑大模型虽然前期配置稍显繁琐，但一旦调通，其性价比和隐私安全性是云端 API 无法比拟的。随着 ROCm 对消费级显卡支持的不断完善，这套本地推理方案正变得越来越成熟可靠。

200小时GPU算力已就位，快来领取：https://marketing.csdn.net/questions/Q2604140858304426315?utm_source=AIpaper