基于LLaMA-Factory微调DeepSeek

基于LLaMA-Factory微调DeepSeek

Llama-Factory：由国内北航开源的低代码⼤模型训练框架，可以实现零代码微调，简单易
学，功能强⼤，且⽬前热度很⾼，建议新⼿从这个开始⼊⻔。本文主要记录学习使用LLaMA-Factory的整体步骤说明。我这边使用的模型是DeepSeek-R1-Distill-Qwen-1.5B，python 版本为 3.10（这里python必须使用3.10版本，不然跟LLaMA-Factory不兼容）。

准备硬件资源、搭建环境

一、 计算机32G运行内存+ 显存 8GB+（如 RTX 3070/4060）

二、 LLaMA-Factory 安装部署

1. 获取并配置LLaMA-Factory项目源代码

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git

2. 进入项目目录

cd LLaMA-Factory

3. 配置环境以支持 Python 3.10 版本

4.新建一个test.py文件，检测cuda是否可用

代码：

import torch

# 检查CUDA是否可用
print(torch.cuda.is_available())

# 检查Torch版本
print(torch.__version__)

5.如果当前使用的是cpu运行环境，则切换为gpu cuda运行环境

cuda版本查询：
cuda环境变量配置：

Pytorch GPU版本安装：

 1. 检查 CUDA 安装
	（1）首先，确保你已经安装了 CUDA。你可以通过以下命令检查 CUDA 是否安装成功：
		nvcc -V
	（2）如果显示 CUDA 版本信息，说明 CUDA 已经安装。
	（3）如果未安装，则打开cmd 运行命令以下显示GPU当前状态和配置信息：
		nvidia-smi 
		我电脑是显示cuda版本最高可以运行12.8的
2. 安装 CUDA(2、3任选一种) 
	(1)如果没有安装 CUDA，可以按照以下步骤进行安装cuda 11.8
		从 NVIDIA 官网 下载适合你系统的 CUDA Toolkit并安装： 
			https://developer.nvidia.com/cuda-toolkit-archive。
	(2)设置环境变量
		确保将 CUDA 的路径添加到系统的环境变量中。例如，在 Windows 上：
		打开 系统属性。
		转到 高级 > 环境变量。
	在 系统变量 中找到 Path，并添加 CUDA 的安装路径。
	（3）安装Anaconda
		https://zhuanlan.zhihu.com/p/101434455
	（4）创建 conda 虚拟环境(⼀定要 3.10 的 python 版本，不然和 LLaMA-Factory 不兼容)
		conda create -n llama-factory python=3.10
	（5）激活虚拟环境
		conda activate llama-factory
3.Pytorch GPU版本安装(2、3任选一种) ，我使用的是第3种方式
	（1）在官网 https://pytorch.org/get-started/locally/，直接复制命令进行安装
	pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 -i https://mirror.sjtu.edu.cn/pytorch-wheels/cu118
	
4. 验证安装
	安装完成后，再次运行test.py代码验证是否成功。
		python.exe F:\LLaMA-Factory\test.py
		运行结果：
		 True
		2.7.0+cu118


 

6.在虚拟环境中安装 LLaMA Factory 相关依赖

pip install -e ".[torch,metrics]" -i https://pypi.mirrors.ustc.edu.cn/simple/

7.检验是否安装成功

llamafactory-cli version

8.启动 LLama-Factory 的可视化微调界⾯

llamafactory-cli webui

如果LLaMA-Factory 运行 WebUI 报错，报错位置：gradio_client/utils.py, line 898, in get_type

错误提示：TypeError: argument of type ‘bool’ is not iterable

降级 pydantic 解决：

pip install pydantic==2.10.6 -i https://pypi.mirrors.ustc.edu.cn/simple/

如果LLaMA-Factory 运行 WebUI 提示 To create a public link, set share=True in launch().

(.venv) PS F:\AI\LLaMA-Factory> llamafactory-cli webui 
* Running on local URL:  http://0.0.0.0:7860

To create a public link, set `share=True` in `launch()`.

打开interface.py文件，路径为：LLaMA-Factory/src/llamafactory/webui/interface.py

将share参数修改为True，修改完启动有可能会遇到提示：将链接转为公共链接

可按照它的提示下载链接里的文件，改名成frpc_linux_amd64_v0.2，然后mv去它提示的地址并给予权限 chmod +x frpc_linux_amd64_v0.2。日常自己调试的话，这个提示不处理也不影响使用。

模型微调

1.准备微调数据
可使用项目自带的调试修改，或者按照自己需求修改。
2.修改设置微调参数

参考资料

链接: bilibili 堂吉诃德拉曼查的英豪.