PyTorch 深度学习笔记（十一）：激活函数对神经网络收敛速度的影响对比

激活函数是神经网络的核心组件，直接影响梯度传播和模型收敛速度。本文通过理论分析和PyTorch实验对比常见激活函数的性能。

一、激活函数的作用机制

1. 非线性引入
   激活函数为网络提供非线性能力，使其能拟合复杂函数。例如：

   • Sigmoid: $ \sigma(x) = \frac{1}{1 + e^{-x}} $
   • ReLU: $ f(x) = \max(0, x) $

2. 梯度传播效率
   反向传播依赖激活函数的导数，导数特性决定梯度消失/爆炸风险：

   • Sigmoid导数：$ \sigma'(x) = \sigma(x)(1 - \sigma(x)) \in (0, 0.25] $，易导致梯度消失
   • ReLU导数：$ f'(x) = \begin{cases} 1 & x > 0 \ 0 & x \leq \end{cases} $，缓解梯度消失但存在"死神经元"

二、收敛速度理论分析

收敛速度取决于梯度幅值和稳定性：
$$ \begin{aligned} \text{收敛速度} \propto \left| \frac{\partial \mathcal{L}}{\partial W} \right| \end{aligned} $$

三、PyTorch实验对比

实验设置：

• 数据集：MNIST（手写数字识别）
• 网络结构：3层全连接（隐藏层512单元）
• 优化器：SGD（lr=0.01, momentum=0.9）
• 损失函数：交叉熵

代码实现：

import torch
import torch.nn as nn
import torch.optim as optim
from torchvision import datasets, transforms

# 定义含不同激活函数的网络
class Net(nn.Module):
    def __init__(self, activation):
        super().__init__()
        self.fc1 = nn.Linear(784, 512)
        self.fc2 = nn.Linear(512, 512)
        self.fc3 = nn.Linear(512, 10)
        self.act = activation  # 传入激活函数对象
    
    def forward(self, x):
        x = x.view(-1, 784)
        x = self.act(self.fc1(x))
        x = self.act(self.fc2(x))
        return self.fc3(x)

# 训练函数
def train_model(act_name, activation):
    model = Net(activation)
    optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.9)
    criterion = nn.CrossEntropyLoss()
    
    train_loader = torch.utils.data.DataLoader(
        datasets.MNIST('./data', train=True, download=True,
                       transform=transforms.ToTensor()),
        batch_size=64, shuffle=True)
    
    losses = []
    for epoch in range(5):
        for data, target in train_loader:
            optimizer.zero_grad()
            output = model(data)
            loss = criterion(output, target)
            loss.backward()
            optimizer.step()
            losses.append(loss.item())
    
    return losses

# 对比实验
activations = {
    "Sigmoid": nn.Sigmoid(),
    "Tanh": nn.Tanh(),
    "ReLU": nn.ReLU(),
    "LeakyReLU": nn.LeakyReLU(0.01),
    "ELU": nn.ELU()
}

results = {name: train_model(name, act) for name, act in activations.items()}

四、实验结果分析

（注：实际实验需绘制损失曲线图，此处为示意）

1. 收敛速度排名：
   $$ \text{ReLU} \approx \text{LeakyReLU} > \text{ELU} > \text{Tanh} > \text{Sigmoid} $$

2. 关键观察：

   • ReLU/LeakyReLU：第1个epoch即快速下降，因正区梯度恒为1
   • Sigmoid：损失震荡明显，因梯度幅值小且非零中心
   • ELU：初期慢于ReLU，但后期稳定（负区指数平滑特性）

五、选择建议

1. 优先ReLU变种：LeakyReLU/Parametric ReLU解决神经元死亡问题
2. 深层网络慎用Sigmoid/Tanh：梯度消失导致下层权重更新停滞
3. 噪声敏感场景：ELU的负区平滑特性提升鲁棒性
4. 输出层例外：分类任务最后一层仍用Sigmoid/Softmax

实践要点：激活函数无绝对最优，需结合网络结构、数据分布调优。