视觉算法工程师面经3-EMA（指数移动平均）的核心原理

小小榜啊

227人浏览 · 2026-09-15 20:42:58

小小榜啊 · 2026-09-15 20:42:58 发布

视觉算法工程师面经3：一文看懂 EMA（指数移动平均）的核心原理

在深度学习的源码和论文中，我们经常会遇到一个词——EMA（Exponential Moving Average，指数移动平均）。无论是 Adam 优化器、BatchNorm 层的统计量更新，还是自监督学习（如 MoCo）中的动量编码器，以及模型权重平滑（Model EMA），它的身影无处不在。

本文将避开复杂的数学推导，用最直观的方式为你拆解 EMA 的底层逻辑、数学原理以及它在深度学习中备受青睐的核心优势。

一、什么是 EMA？

EMA 最初在统计学和金融学中被用来平滑时间序列数据（比如股票价格的波动）。在深度学习中，它是一种极其常用的**“平滑更新策略”**。

一句话概括它的核心思想：计算平均值时，越新的数据权重越大，越老的数据权重呈“指数级”衰减，且永远保留一小部分历史记忆。

它的核心更新公式非常简洁：
$vt=βvt−1+(1−β)θtv_t=\beta v_{t-1}+(1-\beta)\theta_t$

$v_t$ ：当前时刻更新后的平滑值（比如最新的模型权重、特征等）。
$v_{t-1}$ ：上一时刻的旧平滑值（历史累积状态）。
$θt\theta_t$ ：当前时刻刚刚计算出的新观测值（比如当前 Batch 算出的特征或梯度）。
$β\beta$ ：衰减率（Momentum 或 Decay rate），通常是一个接近 $1$ 的常数，例如 $0.9$ 、 $0.99$ 或 $0.999$ 。

二、为什么叫“指数（Exponential）”？

为了理解这个名字的由来，我们可以把公式在时间维度上层层展开。

假设当前的时刻是 $t$ ：
$vt=βvt−1+(1−β)θtv_t=\beta v_{t-1}+(1-\beta)\theta_t$

如果我们把前一时刻的 $v_{t-1}$ 也用同样的公式代入展开，会得到：
$vt=(1−β)θt+β[(1−β)θt−1+βvt−2]v_t=(1-\beta)\theta_t+\beta[(1-\beta)\theta_{t-1}+\beta v_{t-2}]$

继续不断往下展开，最终可以得到：
$]v_t=(1-\beta)[\theta_t+\beta\theta_{t-1}+\beta^2\theta_{t-2}+\beta^3\theta_{t-3}+\dots]$

看这里的 $β\beta$ 、 $β2\beta^2$ 、 $β3\beta^3$ ……（假设 $β=0.9\beta=0.9$ ，那么它们就是 $0.9$ 、 $0.81$ 、 $0.729$ ……）：

当前最新的观测值 $θt\theta_t$ 权重最大。
上一轮的观测值 $θt−1\theta_{t-1}$ 权重衰减了 $β\beta$ 倍。
上上轮的观测值 $θt−2\theta_{t-2}$ 权重衰减了 $β2\beta^2$ 倍。

越久远的历史数据，其权重以“指数形式”迅速衰减，这就是“指数移动平均”名字的由来。

三、 EMA 在深度学习中的三大核心优势

相比于直接把所有样本加起来算“简单平均（Simple Average）”，EMA 有着不可替代的工程与算法优势：

1. 天然的抗噪能力（极其平滑）

在深度学习训练中，单个 Batch 的数据往往带有极大的随机性或噪声，直接使用当前 Batch 算出的参数会导致模型剧烈震荡。
而在 EMA 机制下（假设 $β=0.9\beta=0.9$ ），新观测值的权重只有 $1−β=0.11-\beta=0.1$ 。这意味着任何单次极端的异常数据，都无法瞬间推翻历史累积下来的高质量状态，起到了极好的“低通滤波”和缓冲作用。

2. 免存储，极低的显存开销

如果要算严谨的普通平均数，你需要把过去所有的特征或梯度 $θ1,θ2…θn\theta_1, \theta_2 \dots \theta_n$ 都存到显存里，最后除以 $n$ 。这在参数量动辄上亿的深度学习中是不可能的。
而 EMA 只需要在显存中保存上一时刻的状态 $v_{t-1}$ 。每次进来一个新的 $θt\theta_t$ ，算完直接覆盖旧值，空间复杂度仅为 $O (1)$ ，极其优雅。