---

每日一句正能量

无论我们做什么事，重在坚持，别惧怕失败；既然都说失败是成功她妈，你追求她娃，当然要笑对她妈。
真正在努力的，日子是不会舒服的。把自己变优秀，其他的事情自然就会跟着好起来，会讲究，能将就，能享受最好的，也能承受最坏的。早安。

前言

当RTX 4090的价格被炒到离谱，当CUDA生态成为事实上的"技术税"，个人开发者是否还有第二条路？本文记录了我用AMD Radeon RX 7900 XTX（24GB显存）基于ROCm 6.2生态，从零搭建本地大模型推理工作站的完整过程——包括安装踩坑、性能调优、与NVIDIA生态的客观对比，以及一份可直接复现的部署脚本。

---

目录

• 一、为什么是AMD？一场关于性价比的理性选择
• 二、硬件与环境准备：ROCm 6.2安装实录
• 三、ROCm环境配置：从驱动到PyTorch的完整链路
• 四、模型部署实战：Qwen2.5-72B-int4的落地过程
• 五、性能实测：与RTX 4090的客观对话
• 六、优化技巧：量化、显存与并发调优
• 七、踩坑大全：ROCm新手必看的避坑指南
• 八、总结：边侧AI的另一种可能

---

一、为什么是AMD？一场关于性价比的理性选择

作为一名独立开发者，我一直想搭建一台本地大模型工作站。但看着RTX 4090动辄1.5万+的售价，以及被禁售后更加离谱的溢价，我开始认真考虑AMD的Radeon RX 7900 XTX。

硬件对比：

指标	RX 7900 XTX	RTX 4090	RTX 3090 Ti
显存	24GB GDDR6	24GB GDDR6X	24GB GDDR6X
显存带宽	960 GB/s	1008 GB/s	1008 GB/s
FP16算力(TFLOPS)	123	165	80
售价(2026年)	¥6,500	¥18,000+	¥8,000(二手)
本地LLM生态	ROCm 6.2+	CUDA(成熟)	CUDA(成熟)

关键洞察： 7900 XTX的显存容量与4090持平，带宽差距仅5%，但价格只有三分之一。ROCm 6.2之后，AMD对消费级显卡的支持已经大幅改善，vLLM、Ollama、llama.cpp等主流推理框架均已适配。

这不是一篇"AMD YES"的信仰文，而是一次真实的工程验证：ROCm在今天，到底能不能支撑严肃的生产力场景？

---

二、硬件与环境准备：ROCm 6.2安装实录

2.1 硬件平台

CPU: AMD Ryzen 9 7950X3D
GPU: Sapphire Radeon RX 7900 XTX 24GB
内存: 64GB DDR5-6000
SSD: 2TB NVMe (PCIe 4.0)
OS: Ubuntu 22.04.5 LTS (Kernel 6.5)

重要提示： ROCm对内核版本敏感，务必先确认兼容性。Ubuntu 22.04 HWE内核(6.5)是目前最稳的选择，不要贸然升级6.8+。

2.2 ROCm安装：从0到1

# 1. 更新系统并安装基础依赖
sudo apt update && sudo apt upgrade -y
sudo apt install -y wget gnupg2 software-properties-common

# 2. 添加AMD官方源
wget -q -O - https://repo.radeon.com/rocm/rocm.gpg.key | sudo apt-key add -
echo 'deb [arch=amd64] https://repo.radeon.com/rocm/apt/6.2 jammy main' \
  | sudo tee /etc/apt/sources.list.d/rocm.list

# 3. 安装ROCm核心组件
sudo apt update
sudo apt install -y rocm-dev rocm-libs miopen-hip rccl

# 4. 验证安装
rocminfo | grep "Name:"  # 应显示gfx1100 (7900 XTX的架构代号)
rocm-smi  # 查看GPU状态

踩坑点： 默认安装可能会遗漏hipblaslt和rocsparse，这两个库是vLLM编译的依赖。建议额外安装：

sudo apt install -y hipblaslt rocsparse hipsparse

---

三、ROCm环境配置：从驱动到PyTorch的完整链路

3.1 用户权限与环境变量

# 将当前用户加入渲染和视频组
sudo usermod -aG render,video $USER
# 重新登录后生效

# 配置环境变量（写入~/.bashrc）
export PATH=$PATH:/opt/rocm/bin:/opt/rocm/rocprofiler/bin
export LD_LIBRARY_PATH=/opt/rocm/lib:$LD_LIBRARY_PATH
export HIP_VISIBLE_DEVICES=0  # 单卡场景

3.2 PyTorch for ROCm

这是最容易出问题的环节。不要用官网的CUDA版PyTorch，必须安装ROCm专用wheel：

# 创建隔离环境
conda create -n rocm python=3.10 -y
conda activate rocm

# 安装ROCm版PyTorch 2.3.0
pip install torch==2.3.0+rocm6.2 torchvision==0.18.0+rocm6.2 \
  --index-url https://download.pytorch.org/whl/rocm6.2

# 验证PyTorch能否识别GPU
python -c "import torch; print(f'PyTorch: {torch.__version__}'); \
  print(f'GPU: {torch.cuda.get_device_name(0)}'); \
  print(f'Memory: {torch.cuda.get_device_properties(0).total_memory / 1e9:.1f} GB')"

预期输出：

PyTorch: 2.3.0+rocm6.2
GPU: AMD Radeon RX 7900 XTX
Memory: 24.0 GB

3.3 安装vLLM（ROCm适配版）

vLLM是生产级推理的首选，但官方pip包默认是CUDA版。ROCm需要手动编译：

# 克隆vLLM仓库
git clone https://github.com/vllm-project/vllm.git
cd vllm

# 切换到支持ROCm的分支（或main，视兼容性而定）
git checkout v0.4.2

# 安装编译依赖
pip install -r requirements-rocm.txt

# 关键：设置ROCm架构
export PYTORCH_ROCM_ARCH=gfx1100

# 编译安装（约15-30分钟）
python setup.py install

# 验证
vllm --version

编译踩坑： 如果遇到hipErrorNoBinaryForGpu错误，说明架构标志没设对。7900 XTX是gfx1100，务必在编译前导出该环境变量。

---

四、模型部署实战：Qwen2.5-72B-int4的落地过程

4.1 模型选择逻辑

24GB显存能跑什么模型？

模型	精度	显存占用	是否可跑
Qwen2.5-72B	FP16	~144GB	❌ 不可
Qwen2.5-72B	AWQ-int4	~42GB	❌ 不可
Qwen2.5-72B	GPTQ-int4	~40GB	❌ 不可
Qwen2.5-32B	FP16	~64GB	❌ 不可
Qwen2.5-32B	AWQ-int4	~20GB	✅ 可跑
Qwen2.5-14B	FP16	~28GB	❌ 不可
Qwen2.5-14B	GPTQ-int4	~10GB	✅ 可跑，有冗余

结论： 24GB显存适合跑32B级别的int4量化模型，或14B级别的FP16模型。本文选择Qwen2.5-32B-AWQ作为主力测试模型。

4.2 vLLM启动脚本

# 下载模型（使用ModelScope镜像加速）
export VLLM_USE_MODELSCOPE=True
python -c "from modelscope import snapshot_download; \
  snapshot_download('qwen/Qwen2.5-32B-Instruct-AWQ', cache_dir='./models')"

# 启动vLLM服务
python -m vllm.entrypoints.openai.api_server \
  --model ./models/qwen/Qwen2.5-32B-Instruct-AWQ \
  --quantization awq \
  --tensor-parallel-size 1 \
  --max-model-len 8192 \
  --max-num-seqs 16 \
  --gpu-memory-utilization 0.95 \
  --dtype float16 \
  --port 8000

关键参数说明：

• --gpu-memory-utilization 0.95：ROCm的显存管理比CUDA更保守，建议留5%余量防止OOM
• --max-num-seqs 16：并发数，根据实际场景调整
• --dtype float16：ROCm 6.2对FP16支持成熟，BF16在某些算子上仍有bug

4.3 客户端调用测试

# test_inference.py
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="not-needed"
)

response = client.chat.completions.create(
    model="qwen2.5-32b-awq",
    messages=[
        {"role": "system", "content": "你是一位资深的Linux内核开发专家。"},
        {"role": "user", "content": "请解释eBPF的工作原理，并给出一个追踪系统调用的示例代码。"}
    ],
    temperature=0.3,
    max_tokens=2048
)

print(response.choices[0].message.content)

实测效果： 首次token延迟（TTFT）约0.8秒，生成速度约28 tokens/秒。对于32B模型，这个速度完全可用。

---

五、性能实测：与RTX 4090的客观对话

5.1 测试环境统一

配置项	AMD平台	NVIDIA平台
GPU	RX 7900 XTX 24GB	RTX 4090 24GB
驱动/生态	ROCm 6.2 + PyTorch 2.3	CUDA 12.4 + PyTorch 2.3
推理框架	vLLM 0.4.2 (源码编译)	vLLM 0.4.2 (pip安装)
测试模型	Qwen2.5-32B-AWQ	Qwen2.5-32B-AWQ

5.2 性能数据

测试项	RX 7900 XTX	RTX 4090	差距
TTFT (1K输入)	0.82s	0.45s	AMD慢82%
吞吐量 (tokens/s)	28.5	42.3	AMD慢33%
并发16路吞吐量	312 tokens/s	485 tokens/s	AMD慢36%
显存占用 (32B-AWQ)	21.4GB	20.8GB	相当
功耗 (TDP)	355W	450W	AMD低21%

5.3 客观分析

AMD的优势：

• 性价比：硬件成本仅为RTX 4090的36%，但推理性能达到其67%
• 功耗效率：每token能耗更低，长时间运行电费优势明显
• 显存容量同档：24GB对24GB，能跑的模型规格一致

AMD的劣势：

• 生态成熟度：vLLM等框架需要手动编译，CUDA则是pip一键安装
• 单卡绝对性能：TTFT和吞吐量仍有30-40%差距
• 社区资源：遇到ROCm-specific的bug，Stack Overflow上的解决方案比CUDA少得多

结论： 如果你追求"开箱即用"和极致性能，RTX 4090仍是首选；但如果你预算有限、愿意折腾、且能接受30%的性能折让，7900 XTX是极具性价比的替代方案。

---

六、优化技巧：量化、显存与并发调优

6.1 AWQ vs GPTQ vs GGUF

在ROCm平台上，不同量化格式的表现差异明显：

# 量化格式对比测试脚本
import time
from vllm import LLM, SamplingParams

quant_configs = [
    ("awq", "Qwen2.5-32B-Instruct-AWQ"),
    ("gptq", "Qwen2.5-32B-Instruct-GPTQ"),
]

for quant, model_path in quant_configs:
    print(f"\n测试格式: {quant}")
    llm = LLM(
        model=model_path,
        quantization=quant,
        dtype="float16",
        gpu_memory_utilization=0.95
    )
    
    prompts = ["请用Python写一个快速排序算法"] * 8
    start = time.time()
    outputs = llm.generate(prompts, SamplingParams(temperature=0.7, max_tokens=512))
    elapsed = time.time() - start
    
    total_tokens = sum(len(o.outputs[0].token_ids) for o in outputs)
    print(f"  总时间: {elapsed:.2f}s, 吞吐量: {total_tokens/elapsed:.1f} tokens/s")

实测结果： AWQ在ROCm上的推理速度比GPTQ快约15%，且显存占用更稳定。建议优先选择AWQ格式。

6.2 显存碎片整理

ROCm的显存分配器不如CUDA智能，长时间运行后容易出现显存碎片导致OOM：

# 在启动vLLM前设置环境变量，启用显存池
export PYTORCH_HIP_ALLOC_CONF=expandable_segments:True,max_split_size_mb:512

# 或者定期重启服务（生产环境建议配合Kubernetes的livenessProbe）

6.3 CPU offloading混合推理

当模型略超显存时，可利用ROCm的统一内存架构（UM）实现CPU+GPU混合推理：

from vllm import LLM

llm = LLM(
    model="Qwen2.5-72B-Instruct-AWQ",  # 72B模型，int4约42GB
    quantization="awq",
    # 启用CPU offloading
    cpu_offload_gb=20,  # 将20GB权重 offload 到内存
    device="cuda"
)

代价： 混合推理的吞吐量会下降约40%，但能让你在单卡24GB上跑起72B模型，适合低频查询场景。

---

七、踩坑大全：ROCm新手必看的避坑指南

7.1 驱动与内核

问题现象	根因	解决方案
rocminfo显示Permission denied	用户未加入render组	sudo usermod -aG render,video $USER后重新登录
rocm-smi看不到GPU	内核版本不兼容	降级至Ubuntu 22.04 HWE 6.5内核
PyTorch报hipErrorNoBinaryForGpu	架构标志错误	确认PYTORCH_ROCM_ARCH=gfx1100

7.2 编译与依赖

问题现象	根因	解决方案
vLLM编译失败，找不到hipblaslt	未安装该库	sudo apt install hipblaslt
运行时报libamdhip64.so缺失	LD_LIBRARY_PATH未配置	添加/opt/rocm/lib到环境变量
FlashAttention编译报错	ROCm版FA支持滞后	使用--attention-sink替代，或禁用FA

7.3 运行时

问题现象	根因	解决方案
推理结果出现乱码/重复	AWQ校准精度问题	切换至GPTQ或降低gpu_memory-utilization
显存泄漏，越跑越慢	ROCm显存碎片	启用expandable_segments或定期重启
多卡并行失败	RCCL配置问题	单卡验证通过后再尝试多卡，确保网络互通

---

八、总结：边侧AI的另一种可能

经过两周的密集测试，我对ROCm生态的结论是：它不再是一个"不能用"的玩具，而是一个"需要耐心配置"的生产力工具。

对于个人开发者和小团队，Radeon RX 7900 XTX + ROCm 6.2的组合提供了进入大模型推理领域的最低门槛——你不需要花1.8万买一块显卡，也不需要为CUDA生态支付溢价。30%的性能差距，在大多数非实时场景中是可以接受的。

更重要的是，AMD正在快速迭代。ROCm 6.2相比6.0的稳定性提升是肉眼可见的，vLLM、Ollama、ComfyUI等主流工具链的适配速度也在加快。当硬件性价比遇上软件生态的成熟，边侧AI的"去CUDA化"已经不再是空谈。

如果你也受够了显卡溢价，不妨给ROCm一次机会。折腾的过程本身，也是理解AI infra底层原理的绝佳路径。

---

转载自：https://blog.csdn.net/u014727709/article/details/161053006
欢迎 👍点赞✍评论⭐收藏，欢迎指正