构筑 AI 理论体系：深度学习 100 篇论文解读

第八篇：优化器的革命——Adam 算法的诞生 (2014)

I. 论文背景、核心命题与作者介绍 💡

在第六篇中，ReLU 的诞生解决了深度网络的训练可行性问题。然而，训练过程本身依然充满挑战：传统的 SGD（随机梯度下降） 或 Momentum（动量法）优化器面临着 收敛速度慢和对学习率设置高度敏感的问题。尤其是在面对不同维度上梯度变化巨大的稀疏数据时，全局学习率显得力不从心。

为了解决这些优化难题，Diederik Kingma 和 Jimmy Ba 在 2014 年提出了 Adam (Adaptive Moment Estimation) 优化器。Adam 算法巧妙地结合了 Momentum（加速）和 RMSProp（自适应学习率）的优点，成为了深度学习领域最常用的优化器之一。

核心作者介绍

作者	国籍	简介
Diederik Kingma	荷兰	深度学习研究者，主要研究方向为变分自编码器（VAE）和优化算法，是 Adam 算法和 VAE 算法的共同作者。
Jimmy Ba	加拿大	深度学习研究者，主要研究方向为优化算法和模型架构，参与了 Adam 和后续的许多重要优化算法的研究。

信息项	详情
论文题目	Adam: A Method for Stochastic Optimization
发表年份	2014 年
出版刊物	ICLR (International Conference on Learning Representations)
核心命题	如何设计一个算法，能够自适应地调整每个参数的学习率，同时利用梯度的历史信息进行加速？

---

II. 核心机制：Adam 算法的数学原理 📐

Adam 是 Adaptive Moment Estimation 的缩写，它通过维护梯度的一阶矩和二阶矩的指数加权平均来实现自适应优化。

1. 一阶矩估计（$m_t$ - 动量/加速）

Adam 维持了梯度 $g_t$ 的指数加权平均 $m_t$（类似于动量）：

$$m_t={\beta }_1{m}_{t-1}+(1-{\beta }_1)g_t$$

2. 二阶矩估计（$v_t$ - 自适应学习率）

Adam 维持了梯度平方 $g_t^2$ 的指数加权平均 $v_t$，用于估计每个参数梯度的不稳定性：

$$v_t={\beta }_2{v}_{t-1}+(1-{\beta }_2)g_t^2$$

3. 偏差修正（Bias Correction）与更新

Adam 对 $m_t$ 和 $v_t$ 进行偏差修正（${\hat{m}}_t$ 和 ${\hat{v}}_t$）以消除初始偏差。最终的参数更新规则如下：

$${\theta }_{t+1}={\theta }_t-\frac{\eta }{\sqrt{{\hat{v}}_t}+ϵ}{\hat{m}}_t$$

其中 $\sqrt{{\hat{v}}_t}$ 为每个参数提供了自适应的学习率缩放，${\hat{m}}_t$ 提供了动量加速。

---

III. Adam 的核心优势与历史地位 ✅

1. 高鲁棒性与易用性

Adam 的核心优势在于其强大的自适应性。它为每个参数单独维护一个学习率，对初始学习率 $\eta$ 的选择极不敏感，大大降低了深度学习的调参难度。

2. 结合了加速与稳定

Adam 有效结合了：

• 加速收敛： 通过 ${\hat{m}}_t$（动量）加速训练过程。
• 抑制震荡： 通过 $\sqrt{{\hat{v}}_t}$ 平衡不同维度的梯度，特别擅长处理稀疏梯度和不稳定的损失曲面。

3. 统一了优化器范式

Adam 算法凭借其出色的收敛速度和易用性，迅速取代了传统的 SGD 和 Momentum，成为了 2010 年代中后期深度学习训练的默认标准优化器（Default Optimizer）。

---

IV. 局限性与承接 🚧

1. 权重衰减与 L2 正则化的冲突

Adam 算法的一大局限在于它处理 L2 正则化（L2 Regularization）的方式。Adam 将 L2 正则化项当作梯度的一部分进行自适应缩放，导致正则化效果可能会被削弱或改变，从而损害模型的泛化性能。这一冲突催生了后来的 AdamW 算法，它将权重衰减从优化器的梯度计算中剥离出来独立处理。

2. 泛化性能争议与未来方向

尽管 Adam 提高了训练效率，但有时在某些任务上，经过细致调整的传统 SGD + Momentum 在最终泛化性能上略胜一筹。这促使研究者持续探索更优秀的自适应优化器（如 AMSGrad 等）。

下一篇预告（历史回溯）： 虽然 Adam 解决了如何训练的问题，但要处理图像等复杂数据，必须要有合适的网络结构。下一篇我们将进行历史回溯，深入研究 LeCun (1998) 的奠基性论文，探讨 **卷积神经网络（CNN）**的起源和核心机制，这是图像识别领域的根本突破。