1. 项目背景与核心目标

在自然语言处理领域，GPT-2作为Transformer架构的代表性模型，其超参数配置直接影响模型训练效率和最终性能。这个项目源于我在实际部署GPT-2模型时遇到的困惑——面对众多优化器选项和超参数组合，如何系统性地评估不同配置对模型效果的影响？

通过设计对比实验，我主要想解决三个实际问题：

• 不同batch size下学习率的适配规律
• Adam与SGD优化器在文本生成任务中的表现差异
• 层归一化位置对梯度传播的影响

2. 实验环境搭建

2.1 硬件配置选择

使用单机多卡方案（4×RTX 3090），主要考虑：

• 显存容量：24GB显存可支持最大batch size=32的117M参数模型
• NVLink互联：降低多卡通信开销
• 混合精度支持：通过Tensor Cores加速矩阵运算

注意：实际显存占用会因序列长度动态变化，建议预留20%缓冲空间

2.2 软件栈配置

# 关键组件版本
Python 3.8.10
PyTorch 1.12.1+cu113
transformers 4.21.0
apex 0.9.10dev (混合精度训练)

3. 超参数优化实验设计

3.1 学习率与batch size联动测试

采用网格搜索验证以下组合：

Batch Size	初始学习率	预热步数	衰减策略
16	5e-5	1000	线性
32	3e-5	2000	余弦
64	1e-5	5000	阶梯

关键发现：

• 大batch size需要配合更低学习率（约按sqrt(batch_ratio)缩放）
• 余弦衰减在验证集上表现最优（ppl降低约0.3）

3.2 优化器对比实验

测试三种优化器在WikiText-103数据集的表现：

# AdamW配置示例
optimizer = AdamW(
    params=model.parameters(),
    lr=5e-5,
    betas=(0.9, 0.999),
    eps=1e-8,
    weight_decay=0.01
)

# SGD配置需启用Nesterov动量
optimizer = SGD(
    params=model.parameters(),
    lr=0.1,
    momentum=0.9,
    nesterov=True
)

性能指标对比（训练50k步后）：

优化器类型	验证集PPL	训练耗时	显存占用
AdamW	32.1	18h	18.3GB
SGD	35.7	22h	17.1GB
Adafactor	33.5	20h	15.8GB

4. 关键调参技巧

4.1 学习率预热策略

对于Transformer架构，建议采用：

def lr_lambda(current_step):
    if current_step < num_warmup_steps:
        return float(current_step) / float(max(1, num_warmup_steps))
    return max(
        0.0, float(num_training_steps - current_step) / float(max(1, num_training_steps - num_warmup_steps))
    )

• 预热步数建议设为总步数的5-10%
• 对于大模型（>500M参数）可延长至15%

4.2 梯度裁剪阈值

通过监控梯度范数调整：

torch.nn.utils.clip_grad_norm_(
    parameters=model.parameters(),
    max_norm=1.0,
    norm_type=2.0
)

• 文本生成任务建议范围0.5-1.5
• 阈值过低会导致收敛缓慢
• 过高可能引发数值不稳定

5. 典型问题排查

5.1 损失值震荡

可能原因及解决方案：

1. 学习率过高 → 按0.5倍率逐步下调
2. 批次内样本差异大 → 检查数据shuffle逻辑
3. 梯度爆炸 → 启用clip_grad_norm_

5.2 显存溢出(OOM)处理

• 降低batch size（保持2的幂次）
• 启用梯度检查点：

model.gradient_checkpointing_enable()

• 使用更小的浮点精度（FP16/BF16）

5.3 训练停滞对策

• 检查学习率衰减是否过早
• 尝试重启优化器（清除动量状态）
• 增加LayerNorm的epsilon值（1e-5→1e-4）

6. 性能优化实战

6.1 混合精度训练配置

from torch.cuda.amp import GradScaler, autocast

scaler = GradScaler()
with autocast():
    outputs = model(inputs)
    loss = outputs.loss
scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()

• 可减少30-50%显存占用
• 需监控梯度缩放因子避免下溢

6.2 数据流水线优化

使用Dataset和DataLoader的最佳实践：

class TextDataset(Dataset):
    def __init__(self, encodings):
        self.encodings = encodings
        
    def __getitem__(self, idx):
        return {key: torch.tensor(val[idx]) for key, val in self.encodings.items()}

# 使用pin_memory加速数据传输
loader = DataLoader(
    dataset, 
    batch_size=32,
    shuffle=True,
    pin_memory=True,
    num_workers=4
)

7. 模型收敛性分析

7.1 损失曲线诊断

健康训练应呈现：

• 平滑的指数式下降（前1/3训练周期）
• 稳定的线性下降（中期）
• 小幅波动收敛（后期）

异常情况处理：

• 周期性震荡 → 降低学习率10倍
• 早熟平台期 → 检查数据质量

7.2 权重分布监控

通过直方图观察各层参数变化：

import matplotlib.pyplot as plt
plt.hist(model.transformer.h[0].attn.c_attn.weight.detach().cpu().numpy().flatten(), bins=50)

• 理想分布：均值接近0，标准差0.02-0.1
• 出现极端值需检查初始化方案

8. 扩展实验建议

8.1 不同架构变体测试

• 注意力头数（8/12/16）
• FFN层维度（3072/4096）
• 残差连接方式（Pre-LN vs Post-LN）

8.2 正则化策略对比

• Dropout率（0.1-0.3）
• 权重衰减（0.01-0.1）
• 标签平滑（smoothing=0.1）

在实际测试中，我发现对于1.5B参数的GPT-2，当使用AdamW优化器时，将weight decay设置为0.02配合0.2的dropout率，能在验证集上获得最优的perplexity分数（相比基线提升约1.2个点）。这个组合有效缓解了过拟合现象，同时没有明显增加训练难度。