部署服务器

本文章采用AutoDL平台创建部署（感觉它比较方便，价格便宜），这个不是硬要求，按自己情况来（如公司自己有服务器就可以用自己的；学习的同学可以用这个演练），这里只是演示方便。AutoDL平台地址：www.autodl.com

镜像版本建议选择python3.10的版本，避免运行模型时出现不兼容的问题

选择完成规格后就进入如下页面，我们要用ssh来连接

我这里使用的vscode，安装remote-ssh

安装完成后，在服务器平台复制链接地址，使用vscode链接ssh，链接的时候会提示输入密码，也是在服务器平台复制密码粘贴即可。

显示终端看到有下图的内容就链接成功了。

初始化环境

下面的操作都是在终端进行的了，进入数据盘，安装LLaMA-Factory

cd /root/autodl-tmp
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git

创建虚拟环境，便于后期环境管理

cd /root/autodl-tmp/LLaMA-Factory/
mkdir -p /root/autodl-tmp/conda/pkgs
conda config --add pkgs_dirs /root/autodl-tmp/conda/pkgs
mkdir -p /root/autodl-tmp/conda/envs
conda config --add envs_dirs /root/autodl-tmp/conda/envs
conda create -n llama-factory python=3.10

激活虚拟环境，并安装LLaMA Factory相关依赖

conda init
source ~/.bashrc
cd /root/autodl-tmp/LLaMA-Factory/
conda activate llama-factory
pip install -e ".[torch,metrics]"

检验是否安装成功

llamafactory-cli version

启动LLama-Factory可视化微调界面

llamafactory-cli webui

HuggingFace下载基座模型

新建终端(注意切换到llama-factory环境 conda activate llama-factory)，创建文件夹存放所有基座模型，修改模型下载位置，

mkdir hugging-face
export HF_ENDPOINT=https://hf-mirror.com
export HF_HOME=/root/autodl-tmp/hugging-face

###可用下面的方式永久添加环境变量###
echo "HF_ENDPOINT=https://hf-mirror.com" >> ~/.bashrc
echo "HF_HOME=/root/autodl-tmp/hugging-face" >> ~/.bashrc

###检查环境变量是否生效###
echo $HF_ENDPOINT
echo $HF_HOME

安装HuggingFace下载工具，下载(国内huggingface地址)需要的模型。【模型大小：(1.5b：1.1G) (7b：4.7G) (8b：4.9G) (14b：9G) (32b：20G) (70b：43G) (671b：404G)】

pip install -U huggingface_hub
huggingface-cli download deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B

可视化界面加载模型

准备工作已完成

未完待续…