1. 大模型微调的基本认知

第一次接触大模型微调时，我被各种参数搞得晕头转向。batch size、learning rate、epochs...这些看似简单的参数背后，其实藏着影响模型性能的关键秘密。经过半年多的实践踩坑，我总结出一套适合新手的参数设置方法论。

大模型微调本质上是在预训练模型的基础上进行针对性训练。与从头训练不同，微调需要更精细的参数控制，既要保留预训练获得的知识，又要适应新任务的特点。这就好比在已经建好的高楼基础上进行内部装修，既不能破坏主体结构，又要实现新的功能需求。

2. 核心参数详解与设置策略

2.1 学习率（Learning Rate）

学习率是微调中最重要的超参数之一。我建议从3e-5到5e-5这个范围开始尝试。具体设置要考虑两个关键因素：

1. 模型规模：模型越大，学习率应该越小。比如175B参数的模型，学习率通常设置在1e-5左右；而7B参数的模型可以尝试3e-5。

2. 任务相似度：新任务与预训练任务的相似度越高，学习率可以越大。例如文本分类任务相比预训练的MLM任务，学习率可以适当提高。

注意：千万不要直接使用预训练时的学习率！微调的学习率通常要比预训练小1-2个数量级。

2.2 批量大小（Batch Size）

批量大小的设置需要平衡显存占用和训练稳定性：

• 小批量（8-32）：适合显存有限的场景，梯度更新更频繁但波动较大
• 中批量（32-128）：大多数场景的最佳选择
• 大批量（128+）：需要配合学习率预热（warmup）使用

我常用的经验公式：可用显存(GB)/模型参数量(B) ≈ 2-3时，可以尝试相应批量大小。例如24GB显存跑7B模型，batch size可以设到8-12。

2.3 训练轮次（Epochs）

微调通常不需要太多训练轮次，3-5个epoch足够。具体设置建议：

1. 小数据集（<1k样本）：5-10个epoch
2. 中等数据集（1k-10k）：3-5个epoch
3. 大数据集（>10k）：1-3个epoch

实际操作中，我习惯用早停（early stopping）策略，当验证集指标连续2-3个epoch不提升时就终止训练。

3. 高级优化技巧

3.1 学习率调度策略

除了固定学习率，我推荐尝试这些调度策略：

1. 线性warmup：前10%的训练步数线性增加学习率
2. 余弦退火：学习率按余弦曲线缓慢下降
3. 阶梯下降：每N个epoch学习率减半

在HuggingFace Transformers中，可以这样设置：

from transformers import AdamW, get_linear_schedule_with_warmup

optimizer = AdamW(model.parameters(), lr=3e-5)
scheduler = get_linear_schedule_with_warmup(
    optimizer, 
    num_warmup_steps=100,
    num_training_steps=1000
)

3.2 参数冻结策略

不是所有层都需要微调。我常用的冻结策略：

1. 底层冻结：冻结前50%的Transformer层
2. 模块冻结：只训练分类头/适配器
3. 渐进解冻：先冻结全部，然后从顶层开始逐层解冻

对于BERT类模型，冻结embeddings层通常能节省20%显存且不影响效果。

3.3 梯度累积（Gradient Accumulation）

当显存不足时，梯度累积是救命稻草。设置步骤：

1. 计算实际需要的batch size（如128）
2. 设置可行的batch size（如8）
3. 梯度累积步数=128/8=16
4. 每16步才更新一次参数

代码实现：

for i, batch in enumerate(dataloader):
    outputs = model(**batch)
    loss = outputs.loss
    loss.backward()
    
    if (i+1) % 16 == 0:
        optimizer.step()
        optimizer.zero_grad()

4. 实战参数配置案例

4.1 文本分类任务（7B模型，24GB显存）

learning_rate: 3e-5
per_device_train_batch_size: 8
gradient_accumulation_steps: 4
num_train_epochs: 4
warmup_ratio: 0.1
weight_decay: 0.01
optimizer: adamw_torch
lr_scheduler_type: linear

4.2 对话生成任务（13B模型，40GB显存）

learning_rate: 2e-5
per_device_train_batch_size: 4
gradient_accumulation_steps: 8
num_train_epochs: 3
warmup_steps: 200
max_grad_norm: 1.0
fp16: true

5. 常见问题与解决方案

5.1 损失值震荡严重

可能原因：

• 学习率过高
• 批量大小过小
• 数据噪声太大

解决方案：

1. 将学习率降低50%再试
2. 增加批量大小或梯度累积步数
3. 检查数据质量，增加数据清洗

5.2 模型很快过拟合

可能原因：

• 训练轮次过多
• 模型容量过大
• 数据量不足

解决方案：

1. 添加早停机制
2. 增加dropout率（0.1→0.3）
3. 使用更强的数据增强

5.3 显存溢出（OOM）

应对策略：

1. 启用梯度检查点（gradient checkpointing）
2. 使用混合精度训练（fp16/bf16）
3. 尝试模型并行或量化技术

实现代码：

model.gradient_checkpointing_enable()
training_args.fp16 = True

6. 参数优化实战心得

经过多次实验，我总结出几个关键经验：

1. 学习率需要"宁小勿大"。开始时保守一点，如果训练曲线太平缓再适当提高。

2. 批量大小不是越大越好。我发现中等批量（32-64）配合梯度累积通常效果最好。

3. 不要忽视weight decay。设置0.01-0.1的weight decay能有效防止过拟合。

4. 混合精度训练是显存不足时的首选方案，但要注意梯度裁剪（max_grad_norm=1.0）。

5. 记录完整的训练日志非常重要。我习惯用WandB或TensorBoard监控各项指标。

最后分享一个实用技巧：在微调初期（前20%步数），可以用稍大的学习率（如5e-5），然后逐步降低到3e-5。这种动态调整策略在我多个项目中都取得了不错的效果。