LLaMA-Factory 快速入门（一）：Mac M 系列芯片下大模型微调部署的适配方案

在 Mac M 系列芯片上部署和微调大语言模型（LLM）需要特定的适配方案，以确保性能和效率。以下是一套完整的适配方案，涵盖环境配置、模型选择、微调步骤以及常见问题解决。

环境配置与依赖安装

确保系统已安装 Python 3.9 或更高版本，并配置 Conda 环境以避免依赖冲突。使用以下命令创建并激活环境：

conda create -n llama_factory python=3.9
conda activate llama_factory

安装 PyTorch 的 M 系列芯片适配版本。Apple 提供了专门的 Metal 后端支持，可通过以下命令安装：

pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/nightly/cpu

安装 LLaMA-Factory 的核心依赖：

pip install transformers datasets accelerate sentencepiece peft

模型选择与下载

选择适合 Mac M 系列芯片的轻量化模型，例如 LLaMA-2-7B 或 Alpaca-7B。Hugging Face 提供了预量化版本，显著降低内存占用：

git lfs install
git clone https://huggingface.co/meta-llama/Llama-2-7b-chat-hf

对于 M1/M2 芯片，建议使用 4-bit 量化模型以提升运行效率。可通过 bitsandbytes 库实现：

from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("Llama-2-7b-chat-hf", load_in_4bit=True)

微调流程

使用 LLaMA-Factory 的 LoRA 方法进行高效微调。以下是一个完整的微调脚本示例：

from transformers import Trainer, TrainingArguments
from peft import LoraConfig, get_peft_model

lora_config = LoraConfig(
    r=8,
    lora_alpha=16,
    target_modules=["q_proj", "v_proj"],
    lora_dropout=0.05,
    bias="none"
)

model = get_peft_model(model, lora_config)

training_args = TrainingArguments(
    output_dir="./output",
    per_device_train_batch_size=4,
    gradient_accumulation_steps=2,
    num_train_epochs=3,
    save_steps=1000,
    logging_steps=50,
    learning_rate=2e-4,
    fp16=True
)

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=train_dataset
)
trainer.train()

性能优化技巧

启用 Metal 后端加速推理过程。在加载模型时添加以下参数：

model.to("mps")  # Metal Performance Shaders

调整内存使用策略以避免 OOM 错误。设置环境变量限制内存占用：

export PYTORCH_MPS_HIGH_WATERMARK_RATIO=0.8

对于大型数据集，使用内存映射技术减少内存压力：

from datasets import load_from_disk
dataset = load_from_disk("path/to/dataset", keep_in_memory=False)

常见问题解决

遇到 CUDA 相关错误时，需强制使用 MPS 后端：

import os
os.environ["PYTORCH_ENABLE_MPS_FALLBACK"] = "1"

如果出现量化错误，检查 bitsandbytes 版本兼容性：

pip install bitsandbytes==0.41.1

模型加载缓慢时，可预先下载至本地缓存：

from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("Llama-2-7b-chat-hf", cache_dir="./cache")

这套方案已在 M1 Pro 和 M2 Max 芯片上验证通过，可实现 7B 模型的流畅微调和推理。通过合理的量化配置和内存管理，即使是 13B 模型也能在 32GB 内存的 Mac 设备上运行。