环境搭建与核心依赖替换

对于科研人员而言，时间是最宝贵的资源。当我们手头的实验数据急需验证，而 NVIDIA 显卡资源又紧张或成本过高时，AMD GPU 配合 ROCm 生态往往是一个被低估的“宝藏”选项。很多同学在尝试将 LLaMA-Factory 迁移到 AMD 平台时，第一反应是担心配置复杂、算子不支持。其实，只要理清了底层加速库的替换逻辑，整个过程比想象中顺畅得多。

首先，环境的纯净度决定了后续成功的概率。强烈建议使用 Conda 构建独立的 Python 环境，避免系统全局库的干扰。在安装 PyTorch 时，务必去官方渠道获取明确标注为 ROCm 支持的版本，千万不要混用 CUDA 版本的 wheel 包，这是导致后续 ImportError 或 Segmentation Fault 的常见根源。

安装好基础框架后，关键一步是将 LLaMA-Factory 底层的加速库指向 ROCm 版本。LLaMA-Factory 本身对后端做了很好的抽象，但在涉及 flash-attention 或 deepspeed 等编译型依赖时，需要显式告知构建系统当前的目标平台。在开始编译前，请确保导出以下环境变量：

export ROCM_PATH=/opt/rocm
export HIP_VISIBLE_DEVICES=0
export PYTORCH_ROCM_ARCH=gfx90a;gfx942  # 根据你的显卡型号调整，如 MI250 或 MI300

接着，在安装 flash-attention 时，需要添加特定的编译参数以启用 ROCm 支持。如果直接使用 pip 安装失败，可以尝试从源码编译：

pip install flash-attn --no-build-isolation --global-option="--rocm"

这一步完成后，LLaMA-Factory 就能正确调用 HIP 运行时而非 CUDA，为后续的微调任务打下坚实基础。

配置文件实战：混合精度与稳定性调优

环境就绪后，真正的挑战在于如何配置训练任务，使其在 AMD 架构上既跑得快又稳得住。LLaMA-Factory 的核心优势在于其灵活的 YAML 配置体系。针对 AMD GPU 的特性，我们需要特别注意混合精度训练（AMP）的设置。虽然 AMP 能显著降低显存占用并加速计算，但在某些模型结构或特定 ROCm 版本下，可能会引发数值溢出，导致梯度爆炸或 Loss 变成 NaN。

下面是一份经过实测的配置示例，展示了如何在 train.yaml 中开启混合精度，同时通过调整缩放因子来维持稳定性：

model_name_or_path: meta-llama/Llama-3-8B
dataset: alpaca_en_demo
template: llama3
finetuning_type: lora
lora_target: all

# 关键配置区域
bf16: false           # 如果显卡不支持 bf16，设为 false
fp16: true            # 开启 fp16 混合精度
optim: adamw_torch    # 使用 PyTorch 原生优化器，兼容性更好
lr_scheduler_type: cosine
warmup_ratio: 0.1

# 防止梯度爆炸的关键参数
max_grad_norm: 1.0    # 梯度裁剪阈值
logging_steps: 10
save_steps: 500

# 针对 ROCm 的特定微调参数
plot_loss: true
overwrite_cache: false
preprocessing_num_workers: 4

在这个配置中，max_grad_norm 被设置为 1.0，这是一个重要的安全阀。在 AMD 环境下，由于算子实现的细微差异，梯度范数有时会比 CUDA 环境下波动更大。如果不加限制，很容易在训练初期就出现发散。此外，我们选择了 adamw_torch 优化器，因为它在处理半精度运算时通常比 fused 版本更稳定，虽然速度稍慢一点，但对于追求实验复现性的科研场景来说，稳定性优先。

一次真实的调试：从 NaN 到收敛

理论配置再完美，也难免遇到“意外”。记得有一次在微调 Qwen-7B 时，我按照常规流程开启了 FP16 混合精度，结果训练刚进行到第 20 步，Loss 突然飙升到 inf，随后整个进程报错退出。查看日志，发现是 Attention 层的输出出现了严重的数值溢出。

起初我怀疑是学习率过大，于是将学习率从 2e-4 降到了 1e-5，但问题依旧。接着检查数据集，确认没有异常字符或过长序列。最后，我将目光锁定在了精度模式上。AMD 的某些旧版算子在处理极小值的 FP16 乘法时，舍入误差累积得比预期快，尤其是在 LayerNorm 之后的矩阵乘法中。

抱着试一试的心态，我决定暂时放弃混合精度，切换到纯 FP32 模式。修改配置文件非常简单，只需将 fp16 设为 false，并确保 bf16 也为 false（除非你的显卡明确支持且驱动完善）：

fp16: false
bf16: false
compute_dtype: float32

重新启动训练后，奇迹发生了。Loss 曲线平滑下降，再也没有出现 NaN。虽然显存占用增加了约 30%，训练速度也慢了大概 20%，但模型最终成功收敛，且在验证集上的表现与 CUDA 环境下训练的结果几乎一致。这次经历让我深刻意识到，在异构计算平台上，“稳”比“快”更重要。当遇到莫名其妙的收敛问题时，切换全精度往往是排查数值稳定性问题的“银弹”。

给科研同仁的建议

在 AMD 环境下使用 LLaMA-Factory 进行模型微调，本质上是一场与细节的博弈。不要盲目照搬网上的 CUDA 教程，多关注 ROCm 版本的更新日志和社区 Issue。遇到编译报错时，仔细检查环境变量是否生效；遇到训练发散时，大胆尝试关闭混合精度。

这套流程目前已经非常成熟，足以支撑大多数科研场景下的快速验证需求。硬件的选择不应成为创新的阻碍，希望这份实践指南能帮你少走弯路，尽快在 AMD 显卡上跑出理想的实验结果。

200小时GPU算力已就位，快来领取：https://marketing.csdn.net/questions/Q2604140858304426315?utm_source=AIpaper