LLaMA-Factory 入门：Mac 下大模型微调与部署的基础认知与流程

环境准备与工具安装

在 Mac 环境下进行大模型微调与部署，需要确保硬件配置满足最低要求。建议使用配备 M1/M2 芯片的 Mac，16GB 以上内存，并预留至少 50GB 存储空间。Python 3.8 或更高版本是基础环境，可通过 Homebrew 安装：

brew install python

安装完成后，建议创建虚拟环境隔离依赖：

python -m venv llama-env
source llama-env/bin/activate

核心工具包括 PyTorch 和 LLaMA-Factory。PyTorch 需选择与 Mac 兼容的版本：

pip install torch torchvision torchaudio
pip install llama-factory

数据准备与预处理

微调需要高质量数据集，格式通常为 JSON 或 CSV。示例数据集结构应包含输入输出对：

{
  "instruction": "解释量子计算",
  "input": "",
  "output": "量子计算利用量子比特..."
}

数据预处理包括清洗、去重和分词。可使用 Hugging Face 的 tokenizers 库处理：

from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-2-7b")
tokenized_data = tokenizer(dataset["text"], truncation=True, padding=True)

模型微调配置

LLaMA-Factory 提供配置文件调整参数。创建 custom_finetune.yml 文件：

model_name_or_path: meta-llama/Llama-2-7b
dataset_path: ./data/train.json
output_dir: ./output
per_device_train_batch_size: 4
learning_rate: 2e-5
num_train_epochs: 3

关键参数说明：

• per_device_train_batch_size 根据显存调整
• learning_rate 通常设置在 1e-5 到 5e-5 之间
• num_train_epochs 控制过拟合

启动微调过程

运行以下命令开始微调：

llama_factory train --config custom_finetune.yml

训练过程会显示损失值和学习率曲线。Mac GPU 加速需启用 Metal Performance Shaders：

import torch
device = torch.device("mps" if torch.backends.mps.is_available() else "cpu")

模型验证与测试

训练完成后，使用测试集评估性能：

llama_factory evaluate \
  --model ./output \
  --dataset ./data/test.json

生成式任务可人工检查输出质量。创建 inference.py 脚本进行交互测试：

from transformers import pipeline
generator = pipeline("text-generation", model="./output")
result = generator("如何泡一杯好茶？", max_length=100)
print(result[0]["generated_text"])

部署与性能优化

本地部署可使用 FastAPI 创建简易接口：

from fastapi import FastAPI
app = FastAPI()

@app.post("/generate")
async def generate_text(prompt: str):
    output = generator(prompt, max_length=200)
    return {"response": output[0]["generated_text"]}

启动服务：

uvicorn inference:app --reload

性能优化技巧：

• 使用 torch.compile() 加速模型
• 量化降低显存占用：llama_factory quantize --model ./output --bits 4
• 开启缓存机制减少重复计算

常见问题解决

显存不足错误：

• 减少 batch size
• 启用梯度检查点：gradient_checkpointing: true
• 使用 LoRA 等参数高效微调方法

训练不稳定：

• 尝试更小的学习率
• 增加 warmup 步数
• 检查数据质量

推理速度慢：

• 启用 use_fast 的 tokenizer
• 限制生成长度
• 考虑模型蒸馏

通过以上流程，可在 Mac 环境下完成从数据准备到模型部署的完整链路。实际应用中需根据任务需求调整参数，并持续监控模型表现。