Llama Factory 模型微调环境搭建(Windows&Linux通用)

1、安装 Python 环境

官网下载安装包：https://www.python.org/downloads/
安装教程可以参考：https://blog.csdn.net/weixin_55701118/article/details/144055539

2、安装 Git

用于Llama Factory环境搭建以及模型文件拉取。
官网下载安装包：https://git-scm.com/
安装教程可以参考：https://blog.csdn.net/qq_45730223/article/details/131693287

3、部署 Llama Factory

手动创建目录，在目标目录下右键选择Open Git Bash here，执行命令拉取Llama Factory 代码：

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git

等待拉取完成：

获取成功后依旧在 Git 窗口使用 CD 命令进入 LLaMA Factory 文件夹。执行以下命令安装依赖（Python安装时确保pip正常安装并配置好系统全局变量）：

pip install -e ".[torch,metrics]" -i https://pypi.mirrors.ustc.edu.cn/simple
#可选的额外依赖项：torch、torch-npu、metrics、deepspeed、bitsandbytes、hqq、eetq、gptq、awq、aqlm、vllm、galore、badam、qwen、modelscope、quality

名称	描述
torch	开源深度学习框架 PyTorch，广泛用于机器学习和人工智能研究中
torch-npu	PyTorch 的昇腾设备兼容包
metrics	用于评估和监控机器学习模型性能
deepspeed	提供了分布式训练所需的零冗余优化器
bitsandbytes	用于大型语言模型量化
hqq	用于大型语言模型量化
eetq	用于大型语言模型量化
gptq	用于加载 GPTQ 量化模型
awq	用于加载 AWQ 量化模型
aqlm	用于加载 AQLM 量化模型
vllm	提供了高速并发的模型推理服务
galore	提供了高效全参数微调算法
badam	提供了高效全参数微调算法
qwen	提供了加载 Qwen v1 模型所需的包
modelscope	魔塔社区，提供了预训练模型和数据集下载途径
dev	用于 LLaMA Factory 开发维护

在 LLaMA Factory 安装目录下，打开 powershell 窗口，执行以下命令验证安装是否正确。

llamafactory-cli version
#看到打印了版本信息即可

同样目录下执行下列命令启动 Web UI。注意要在LLaMA Factory的目录下启动，除非你将 llamafactory-cli webui 配置了全局变量。

llamafactory-cli webui  > runlog.log &
#上面指令是后台运行，并实时打印日志保存到 runlog.log 文件下。后台运行防止窗口关闭的时候服务就挂掉了。

正常情况下，webui 正常运行后，会自动跳转浏览器。也可以手动打开本地的 7860 端口打开 webui

localhost:7860

至此，llamafactory-cli webui 已经部署完成。

4、显卡驱动以及深度学习环境

4.1 显卡驱动安装

安装RTX显卡驱动，这是后续步骤的基础。前往英伟达官网，下载并安装对应的显卡的最新驱动程序（每张卡的驱动程序不通用，需选择好型号）。

https://www.nvidia.cn/geforce/drivers/

4.2 Ollama 安装

在显卡驱动安装完成后，进入Ollama下载安装包，安装后即可利用显卡性能进行大模型推理。Ollama也是模型文件的管理平台，后续微调导出的模型，将放在Ollama中进行管理与运行。
安装教程参考：https://blog.csdn.net/weixin_46241866/article/details/144091309?
安装完成后浏览器进入 localhost:11434 看到“Ollama is running”即可
输入ollama list命令即可查看本地安装的模型。

使用 ollama run <模型名称> 即可运行模型。后续需要使用MaxKB部署与调用。上面提到的ollama安装教程附带了MaxKB的部署。

4.3 安装 PyTorch

在进行大模型微调时，需安装深度学习环境框架，其运行方式如下：

1、检查显卡支持的CUDA版本：在命令行中输入以下命令查看支持的CUDA版本。使用以下指令（N卡）：

nvidia-smi

2、在 PyTorch 官网查询 PyTorch 支持的 CUDA 版本。

https://pytorch.org/get-started/locally/

3、在英伟达官网，下载CUDA 12.4及相应的cuDNN版本。安装CUDA和cuDNN。可以前往这篇博客，详细讲解了安装以及环境变量配置。(https://blog.csdn.net/qq_40379132/article/details/124869378)
4、验证安装是否正确（cmd→python）：

import torch
print(torch.cuda.is_available())	#检查CUDA是否可用，这里只需要关注打印结果是否为True。
print(torch.cuda.current_device())	#当前设备编号
print(torch.cuda.device_count())	#GPU数量
print(torch.cuda.get_device_name(0))	#第一个GPU名称（显卡型号）

到这里就搭建好了基于 LLama Factory 的模型微调环境
接下来就进入模型微调的部分，可以查看这篇：https://blog.csdn.net/weixin_46241866/article/details/146991538?