LLaMA-Factory 快速入门：Mac 下为个人学习微调部署大模型的流程

环境准备

确保 Mac 系统版本为 macOS 10.13 或更高，并安装 Python 3.8 及以上版本。推荐使用 Miniconda 管理 Python 环境，避免依赖冲突。

通过终端安装必要的工具：

brew install cmake git  
conda create -n llama_factory python=3.8  
conda activate llama_factory  

安装 LLaMA-Factory

克隆官方仓库并安装依赖：

git clone https://github.com/hiyouga/LLaMA-Factory.git  
cd LLaMA-Factory  
pip install -r requirements.txt  

若需启用 GPU 加速（仅限 M1/M2 芯片），额外安装 Apple 的 Metal 支持：

pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cpu  

下载模型权重

从 Hugging Face 下载适合个人学习的预训练模型（如 Llama-2-7b-hf）。需先申请访问权限，通过 git-lfs 下载：

git lfs install  
git clone https://huggingface.co/meta-llama/Llama-2-7b-hf  

将模型权重放置在 LLaMA-Factory/models 目录下。

配置微调参数

修改 scripts/train.sh 中的参数，指定数据集路径和训练配置。例如：

CUDA_VISIBLE_DEVICES=0 python src/train_bash.py \  
    --model_name_or_path ./models/Llama-2-7b-hf \  
    --dataset_dir ./data \  
    --output_dir ./output \  
    --per_device_train_batch_size 4  

启动微调任务

运行脚本开始训练：

bash scripts/train.sh  

训练过程中可通过日志监控进度。若显存不足，可降低 per_device_train_batch_size 或启用梯度累积。

模型测试与部署

训练完成后，使用 scripts/inference.sh 加载微调后的模型进行推理测试：

python src/inference.py \  
    --model_name_or_path ./output \  
    --prompt "你的输入文本"  

将 output 目录下的模型文件部署为本地 API，或集成到其他应用中。

常见问题解决

• 显存不足：尝试量化模型（4-bit 或 8-bit）或使用 LoRA 等轻量级微调方法。
• 依赖冲突：重新创建虚拟环境并严格按 requirements.txt 安装依赖。
• 下载中断：通过 git lfs pull 恢复下载，或手动下载权重文件。

通过以上流程，可在 Mac 环境下完成大模型的微调与部署，适用于个人学习与研究场景。