LLaMA Factory 是一个简单易用且高效的大型语言模型训练与微调平台。通过它，用户可以在无需编写任何代码的前提下，在本地完成上百种预训练模型的微调。

安装conda

Conda 是一个开源的跨平台、语言无关的软件包管理系统与环境管理系统。它能方便地安装、运行和更新软件包及其依赖项，还可创建、切换和删除隔离的软件环境 。

简单点说就是用来做python包管理的，可以专门为LLaMA Factory开辟一个运行环境，这样就不会与其他的运行环境产生冲突。（这个不是必须的，但最好还是安装一下）

conda下载地址：Download Anaconda Distribution | Anaconda

下载完成后，把文件传到linux服务器上，进行安装。

一路直接回车或者输入yes，根据提示进行安装。

在安装过程中，注意下这个安装的路径，在后面可能会用到。

等待安装完成，可以查看关于conda的一些信息：

使用 conda create 命令创建一个新的虚拟环境。例如，创建一个名为 lf （LLaMA Factory 简称）的虚拟环境，并指定 Python 版本为 3.10：

conda create -n lf python=3.10

如果在创建虚拟环境时报错，更换一下安装源：

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r/

conda config --set show_channel_urls yes

激活名称为if的conda环境 

conda activate lf

使用 conda env list 命令查看所有已创建的虚拟环境：

conda env list

该命令会列出所有虚拟环境的名称和对应的路径（前面带 * 的为当前已激活的虚拟环境）

安装LLaMA Factory

下载源码，下载地址：

https://github.com/hiyouga/LLaMA-Factory

源码下载后，把源码放到linux服务器上，然后进入到代码目录，在conda的if虚拟环境中执行：

pip install -e ".[torch,metrics]"

如果这一步执行报错，更换国内pip源，执行下面的命令：

pip install -e ".[torch,metrics]" -i https://pypi.tuna.tsinghua.edu.cn/simple

等待执行完毕。

执行 llamafactory-cli version 验证安装情况：

llamafactory-cli version

执行 which llamafactory-cli 可以发现，llamafactory 被安装在了 conda 创建的虚拟环境目录下：

which llamafactory-cli

依赖安装完成后，执行：llamafactory-cli webui，可以启动 LLaMa Factory 的 webui：

llamafactory-cli webui

这种启动方式如果把当前会话关闭，UI就无法访问，可以使用下面的命令启动，就可以保持长链接，即使会话关闭了，UI界面仍可以访问：

nohup llamafactory-cli webui > llama.log 2>&1 &

UI界面启动成功，使用 IP:7860 端口进行访问

 

到此，LLaMA Factory在linux服务器上的安装就完成了。 

配置模型

在LLaMA Factory页面中，选择了模型后，可能是因为网络原因，会导致加载模型失败，这种情况可以通过把模型自己下载后，然后把模型路径改为本地模型的路径，来解决。

在模型平台上下载模型，比如Hugging Face

找打模型后，进入文件页面，点击下载按钮，把所有的文件都下载下来。

把下载后的文件，放到一个文件夹中，然后传到服务器上，如下图所示：

 

在 在LLaMA Factory页面中，重新选择模型，路径填写模型文件的存放路径，如下图：

点击加载模型，就可以正常加载了。