LLaMA-Factory 入门（一）：Mac 中适配离线环境的大模型微调部署流程

在 Mac 环境下部署离线大模型并进行微调，需要准备适当的硬件和软件环境。Mac 设备通常配备 Apple Silicon 芯片，这为本地运行大模型提供了良好的硬件支持。以下流程将指导完成从环境配置到模型微调的全过程。

硬件要求 建议使用配备 M1/M2 芯片的 Mac 设备，至少 16GB 内存。对于较大的模型，32GB 或更高内存会更适合。存储空间需预留 20GB 以上，用于存放模型权重和数据集。

环境配置 安装 Miniconda 或 Anaconda 来管理 Python 环境。创建专用环境并安装 PyTorch 的 macOS 版本，确保选择与 Apple Silicon 兼容的版本。通过 Homebrew 安装必要的依赖项如 git 和 cmake。

conda create -n llama_factory python=3.9
conda activate llama_factory
pip install torch torchvision torchaudio
brew install git cmake

模型准备 从官方渠道下载 LLaMA 模型权重，需确保拥有合法的访问权限。将权重文件放置在合适的目录结构下，建议使用 huggingface/transformers 的模型缓存路径。对于离线环境，提前下载所有依赖的 tokenizer 文件和配置文件。

LLaMA-Factory 安装 克隆 LLaMA-Factory 仓库到本地，并安装项目依赖。进入项目目录后，运行安装命令以安装必要的 Python 包。

git clone https://github.com/your-repo/LLaMA-Factory.git
cd LLaMA-Factory
pip install -r requirements.txt

离线适配 修改配置文件以指向本地模型路径，禁用所有在线连接请求。设置环境变量允许本地运行，禁用网络检查。对于依赖的数据集，提前下载并配置本地路径。

export OFFLINE_MODE=1
export NO_INTERNET=1

微调准备 准备微调数据集，格式应为 JSON 或 CSV。创建配置文件指定训练参数，包括学习率、批量大小和训练轮数。对于 Apple Silicon 芯片，启用 MPS 后端以加速训练。

training_config = {
    "learning_rate": 2e-5,
    "batch_size": 4,
    "epochs": 3,
    "device": "mps"
}

启动微调 运行训练脚本开始微调过程。监控 GPU 内存使用情况，必要时调整批量大小。训练完成后，模型权重会自动保存在指定目录，包含原始模型和适配器权重。

python src/train.py --config configs/finetune.yaml

模型测试 使用测试脚本验证微调后的模型效果。加载训练好的权重，输入测试文本检查输出质量。对于生成任务，可以调整温度参数控制输出多样性。

python src/inference.py --model local/path/to/model --input "测试文本"

性能优化 针对 Mac 设备进行特定优化，如启用 flash attention 减少内存占用。调整线程设置以充分利用 CPU 和 GPU 资源。对于持续使用，建议创建启动脚本简化重复命令。

export PYTORCH_ENABLE_MPS_FALLBACK=1
export OMP_NUM_THREADS=4

通过以上步骤，可以在 Mac 的离线环境中完成大模型的部署和微调。整个过程需要注意硬件限制，合理配置模型参数以获得最佳性能。后续可以探索量化等方法来进一步优化模型运行效率。