02. 模型微调准备工作：如何选择微调框架？LLaMA-Factory环境准备

微调框架选择指南

主流微调框架对比

在选择微调框架时，需要综合考虑多个因素，包括易用性、功能完整性、性能表现、社区支持等。以下是当前主流微调框架的详细对比：

1.1 LLaMA-Factory

核心优势

• 支持多种主流大模型（LLaMA、ChatGLM、Baichuan、Qwen等）
• 提供丰富的微调方法（LORA、QLORA、全参数微调等）
• 内置多种数据集格式支持
• 提供WebUI界面，操作简便
• 活跃的社区支持和持续更新

技术特点

• 基于PyTorch和Transformers库
• 支持分布式训练
• 提供模型量化和推理优化
• 集成了多种评估指标
• 支持多GPU训练

适用场景

• 中小型团队和个人开发者
• 快速原型验证
• 多模型对比实验
• 教学和研究用途

1.2 Hugging Face PEFT

核心优势

• 官方支持的参数高效微调库
• 与Transformers生态完美集成
• 支持最新的微调技术
• 文档完善，示例丰富
• 企业级稳定性

技术特点

• 模块化设计，易于扩展
• 支持多种PEFT方法（LORA、AdaLoRA、Prompt Tuning等）
• 提供模型合并和导出功能
• 支持自定义微调策略

适用场景

• 需要深度定制的项目
• 企业级应用开发
• 研究新微调方法
• 与现有HF生态集成

1.3 DeepSpeed

核心优势

• 微软开源的大规模模型训练库
• 极致的内存优化
• 支持超大规模模型训练
• 提供ZeRO优化器
• 企业级性能

技术特点

• 内存效率极高
• 支持模型并行和数据并行
• 提供混合精度训练
• 支持模型压缩

适用场景

• 超大模型训练
• 资源受限环境
• 需要极致性能优化
• 大规模分布式训练

1.4 框架选择决策矩阵

评估维度	LLaMA-Factory	Hugging Face PEFT	DeepSpeed
易用性	⭐⭐⭐⭐⭐	⭐⭐⭐⭐	⭐⭐
功能完整性	⭐⭐⭐⭐⭐	⭐⭐⭐⭐⭐	⭐⭐⭐⭐
性能表现	⭐⭐⭐⭐	⭐⭐⭐⭐	⭐⭐⭐⭐⭐
社区支持	⭐⭐⭐⭐⭐	⭐⭐⭐⭐⭐	⭐⭐⭐⭐
学习成本	低	中	高
定制灵活性	中	高	极高

LLaMA-Factory环境准备

2.1 系统要求

硬件要求

• 最低配置：16GB RAM，8GB VRAM（支持QLORA）
• 推荐配置：32GB RAM，24GB VRAM（支持LORA）
• 理想配置：64GB RAM，48GB VRAM（支持全参数微调）

软件要求

• Python 3.8+
• CUDA 11.7+（NVIDIA GPU）
• PyTorch 1.13+
• Transformers 4.30+

2.2 环境安装步骤

步骤1：创建虚拟环境

# 使用conda创建环境
conda create -n llamafactory python=3.10
conda activate llamafactory

# 或者使用venv
python -m venv llamafactory_env
source llamafactory_env/bin/activate  # Linux/Mac
# llamafactory_env\Scripts\activate  # Windows

步骤2：安装PyTorch

# CUDA 11.8版本
pip install torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 --index-url https://download.pytorch.org/whl/cu118

# CPU版本（仅用于测试）
pip install torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 --index-url https://download.pytorch.org/whl/cpu

步骤3：安装LLaMA-Factory

# 从GitHub克隆
git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory

# 安装依赖
pip install -e ".[torch,metrics]"

# 或者使用requirements.txt
pip install -r requirements.txt

步骤4：验证安装

# 检查版本
python -c "import llamafactory; print('LLaMA-Factory installed successfully')"

# 检查GPU可用性
python -c "import torch; print(f'CUDA available: {torch.cuda.is_available()}')"

2.3 配置文件设置

基本配置文件结构

# config.yaml
model_name_or_path: meta-llama/Llama-2-7b-hf
dataset: alpaca_en
template: llama2
finetuning_type: lora
lora_rank: 8
lora_alpha: 32
lora_dropout: 0.1
learning_rate: 0.0001
num_train_epochs: 3
per_device_train_batch_size: 4
gradient_accumulation_steps: 4

高级配置选项

# advanced_config.yaml
# 模型配置
model_name_or_path: your-model-path
trust_remote_code: true
# 数据集配置
dataset_dir: data
dataset: custom_dataset
cutoff_len: 1024
# 训练配置
finetuning_type: lora
lora_target: q_proj,v_proj
# 优化器配置
optim: adamw_torch
lr_scheduler_type: cosine
warmup_ratio: 0.1
# 内存优化
gradient_checkpointing: true
fp16: true
# 评估配置
val_size: 0.1
evaluation_strategy: steps
eval_steps: 500

2.4 WebUI界面使用

启动WebUI

# 启动Web服务
python src/train_web.py

# 指定端口
python src/train_web.py --port 7860

# 公开访问
python src/train_web.py --share

WebUI功能模块

1. 模型选择：支持多种预训练模型
2. 数据集管理：上传和管理训练数据
3. 参数配置：可视化配置训练参数
4. 训练监控：实时监控训练过程
5. 模型评估：评估微调效果
6. 模型导出：导出微调后的模型

2.5 数据集准备

支持的数据格式

// Alpaca格式
{
  "instruction": "人类指令",
  "input": "人类输入（可选）",
  "output": "模型回答"
}

// ShareGPT格式
{
  "conversations": [
    {"from": "human", "value": "人类消息"},
    {"from": "gpt", "value": "助手回复"}
  ]
}

// 自定义格式
{
  "prompt": "提示词",
  "response": "回复",
  "system": "系统提示（可选）"
}

数据集预处理脚本

# data_preprocess.py
import json
import pandas as pd

def convert_to_alpaca_format(data, output_file):
    """转换数据为Alpaca格式"""
    alpaca_data = []
    for item in data:
        alpaca_item = {
            "instruction": item.get("instruction", ""),
            "input": item.get("input", ""),
            "output": item.get("output", "")
        }
        alpaca_data.append(alpaca_item)
    
    with open(output_file, 'w', encoding='utf-8') as f:
        json.dump(alpaca_data, f, ensure_ascii=False, indent=2)

def validate_dataset(file_path):
    """验证数据集格式"""
    with open(file_path, 'r', encoding='utf-8') as f:
        data = json.load(f)
    
    required_fields = ['instruction', 'output']
    for i, item in enumerate(data):
        for field in required_fields:
            if field not in item:
                print(f"第{i+1}条数据缺少字段：{field}")
                return False
    print("数据集格式验证通过")
    return True

环境优化建议

3.1 性能优化

内存优化

# 启用梯度检查点
export GRADIENT_CHECKPOINTING=1

# 使用DeepSpeed优化
pip install deepspeed

# 启用混合精度
export FP16=1

速度优化

# 使用FlashAttention
pip install flash-attn

# 启用编译优化
export TORCH_COMPILE=1

# 调整线程数
export OMP_NUM_THREADS=8

3.2 监控和调试

训练监控

# 使用TensorBoard
tensorboard --logdir outputs/

# 使用WandB
pip install wandb
wandb login

# 配置文件添加
report_to: wandb
run_name: experiment_name

调试工具

# debug_script.py
import logging
import torch

def setup_logging():
    logging.basicConfig(
        level=logging.INFO,
        format='%(asctime)s - %(name)s - %(levelname)s - %(message)s'
    )

def check_gpu_memory():
    if torch.cuda.is_available():
        for i in range(torch.cuda.device_count()):
            memory_total = torch.cuda.get_device_properties(i).total_memory / 1e9
            memory_allocated = torch.cuda.memory_allocated(i) / 1e9
            print(f"GPU {i}: {memory_allocated:.2f}GB / {memory_total:.2f}GB")

常见问题解决

4.1 安装问题

CUDA版本不匹配

# 检查CUDA版本
nvcc --version
nvidia-smi

# 重新安装匹配的PyTorch
pip uninstall torch
pip install torch==2.0.1+cu118 -f https://download.pytorch.org/whl/torch_stable.html

依赖冲突

# 创建干净环境
conda create -n llamafactory_clean python=3.10
conda activate llamafactory_clean

# 逐步安装依赖
pip install torch
pip install transformers
pip install datasets
pip install -e .

4.2 运行问题

OOM（内存不足）

# 调整配置
per_device_train_batch_size: 1
gradient_accumulation_steps: 16
gradient_checkpointing: true
fp16: true

训练速度慢

# 优化配置
dataloader_num_workers: 4
dataloader_pin_memory: true
optim: adamw_torch_fused

总结

选择合适的微调框架是成功进行模型微调的第一步。LLaMA-Factory凭借其易用性、功能完整性和活跃的社区支持，成为垂直领域模型微调的优秀选择。通过正确的环境准备和配置优化，可以为后续的微调工作打下坚实的基础。

在下一章节中，我们将详细讨论垂直领域数据集的类型和准备方法，这是确保微调效果的关键因素之一。