PyTorch 深度学习笔记（十一）：激活函数在神经网络层中的嵌入方式

激活函数是神经网络中引入非线性的关键组件，它使模型能够学习复杂模式。常见的激活函数包括 ReLU、Sigmoid 和 Tanh，它们在 PyTorch 中通过模块化方式嵌入到网络层中。本笔记将逐步解释嵌入方式、提供代码示例，并讨论最佳实践。

1. 激活函数的作用和数学原理

激活函数将输入信号转换为非线性输出，增强模型的表达能力。例如：

• ReLU（Rectified Linear Unit）：$f(x) = \max(0, x)$，输出非负值。
• Sigmoid：$$\sigma(x) = \frac{1}{1 + e^{-x}}$$，将输入压缩到 $(0,1)$ 区间。
• Tanh：$$\tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}}$$，输出在 $(-1,1)$ 之间。

在神经网络中，激活函数通常嵌入在层之间，如线性层（nn.Linear）后，以引入非线性变换。

2. 激活函数在 PyTorch 中的嵌入方式

PyTorch 通过 torch.nn 模块提供激活函数，嵌入方式主要有两种：

• 作为独立层嵌入：将激活函数定义为 nn.Module 的子模块（如 nn.ReLU()），在 forward 方法中显式调用。
• 在序列模型中使用：通过 nn.Sequential 容器，将激活函数与网络层组合成一个序列。

关键步骤：

1. 导入模块：使用 import torch.nn as nn。
2. 定义激活函数：实例化激活函数模块（如 self.relu = nn.ReLU()）。
3. 在正向传播中应用：在 forward 方法中，将激活函数嵌入到层之间（如 x = self.relu(x)）。

3. 代码示例：嵌入激活函数

以下是一个完整的 PyTorch 示例，展示如何嵌入 ReLU 激活函数到一个简单神经网络中。代码包括：

• 定义自定义网络类。
• 在 __init__ 中嵌入激活函数。
• 在 forward 中应用激活函数。

import torch
import torch.nn as nn

# 定义一个简单的神经网络，嵌入 ReLU 激活函数
class SimpleNet(nn.Module):
    def __init__(self, input_dim, hidden_dim, output_dim):
        super(SimpleNet, self).__init__()
        self.fc1 = nn.Linear(input_dim, hidden_dim)  # 第一层线性变换
        self.relu = nn.ReLU()  # 嵌入 ReLU 激活函数作为独立层
        self.fc2 = nn.Linear(hidden_dim, output_dim)  # 第二层线性变换

    def forward(self, x):
        x = self.fc1(x)  # 应用第一层
        x = self.relu(x)  # 嵌入激活函数：ReLU 非线性变换
        x = self.fc2(x)  # 应用第二层
        return x

# 创建网络实例并测试
input_dim = 784  # 输入维度（如 MNIST 图像）
hidden_dim = 128
output_dim = 10  # 输出类别数
model = SimpleNet(input_dim, hidden_dim, output_dim)
input_data = torch.randn(32, input_dim)  # 模拟批量数据（32 个样本）
output = model(input_data)
print("Output shape:", output.shape)  # 输出应为 (32, 10)

在此示例中：

• nn.ReLU() 被嵌入为独立层，在 forward 方法中调用。
• 激活函数位于两个线性层之间，实现非线性映射。

4. 常见激活函数及嵌入方式

PyTorch 支持多种激活函数，嵌入方式类似。以下是常用激活函数的嵌入示例：

• ReLU：nn.ReLU()，适合隐藏层，解决梯度消失问题。
• Sigmoid：nn.Sigmoid()，常用于二分类输出层，公式为 $$\sigma(x) = \frac{1}{1 + e^{-x}}$$。
• Tanh：nn.Tanh()，输出中心化，公式为 $$\tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}}$$。
• LeakyReLU：nn.LeakyReLU(negative_slope=0.01)，改进 ReLU，避免神经元死亡。

在序列模型中嵌入（使用 nn.Sequential）：

model = nn.Sequential(
    nn.Linear(784, 256),
    nn.ReLU(),  # 直接嵌入激活函数
    nn.Linear(256, 10)
)

5. 最佳实践和注意事项

• 嵌入位置：通常在卷积层或线性层后嵌入激活函数，但避免在输出层使用（除非分类任务）。
• 梯度问题：ReLU 类函数可缓解梯度消失，Sigmoid 可能导致饱和问题（梯度接近零）。
• 性能优化：使用 nn.ReLU() 而非 F.relu() 以支持模块化训练。
• 选择建议：
  • 隐藏层优先使用 ReLU 或 LeakyReLU。
  • 输出层根据任务选择（如 Sigmoid 用于概率输出）。
• 调试技巧：打印中间层输出，确保激活函数正确应用（如 print(x) 在 forward 中）。

通过以上方式，激活函数在 PyTorch 中高效嵌入，提升了模型的非线性能力。实践中，结合具体任务调整激活函数类型和位置，可显著优化性能。