深度学习必懂：BN与LN标准化详解，从原理到实战一文吃透

ydl1128

832人浏览 · 2026-02-06 13:04:18

ydl1128 · 2026-02-06 13:04:18 发布

深度学习必懂：BN与LN标准化详解，从原理到实战一文吃透

在深度学习的模型训练中，有两个“不起眼但缺一不可”的核心组件——Batch Normalization（批量归一化，简称BN）和Layer Normalization（层归一化，简称LN）。它们没有激活函数那样“注入非线性”的亮眼作用，也没有注意力机制那样“聚焦关键信息”的强大能力，却默默解决了深度网络训练中最棘手的“数值分布混乱”问题，让模型训练更稳定、收敛更快、效果更优。

无论是入门深度学习的新手，还是从事实战开发的工程师，都难免会有这样的困惑：BN和LN到底有什么区别？什么时候该用BN，什么时候该用LN？为什么CNN里全是BN，而Transformer里却只用LN？

一、先搞懂核心：标准化到底解决了什么问题？

在讲BN和LN之前，我们先明确一个前提：为什么深度学习需要“标准化”？

深度神经网络的训练，本质是通过“反向传播+梯度下降”不断更新网络参数，而这个过程对“输入数值的分布”极其敏感。当网络层数加深时，前一层参数的微小变化，会导致后一层输入数值的分布发生剧烈偏移——这种现象被称为“内部协变量偏移（Internal Covariate Shift, ICS）”。

内部协变量偏移会带来两个致命问题：

梯度消失/爆炸：如果输入数值过大或过小，经过激活函数（如Sigmoid、ReLU）后，很可能进入“饱和区”（Sigmoid输入>5或<-5时，导数趋近于0）或“失效区”（ReLU输入<0时，梯度为0），导致梯度在反向传播中快速消失；或者经过矩阵乘法后数值急剧放大，导致梯度爆炸，模型参数无法正常更新。
训练速度极慢：由于每一层的输入分布都在不断变化，激活函数需要反复适应新的数值分布，模型只能用极小的学习率慢慢训练，收敛速度大幅下降，甚至无法收敛。

而BN和LN的核心作用，就是通过数值校准，将每一层的输入转换为“均值固定、方差固定”的标准分布，从根本上消除内部协变量偏移，为激活函数打造一个“稳定的工作环境”。

这里要强调一个关键：BN和LN的核心公式完全一致，区别只在于“对哪些数据计算均值和方差”——这也是二者所有差异的根源。

标准化核心公式（BN和LN通用）：

$\frac{x - \mu}{\sqrt{\sigma^2 + \epsilon}} * \gamma + \beta$

公式解读：

$\mu$ ：均值， $\sigma^2$ ：方差，通过对特定范围的数据计算得到；
$\epsilon$ ：极小值（通常取1e-5），防止分母为0；
$\gamma$ （缩放参数）和 $\beta$ （偏移参数）：可学习的参数，用于还原模型的表达能力——避免标准化后所有数据都被“拉平”，丢失原始特征信息；
最终效果：将原始输入x转换为均值接近0、方差接近1的标准分布x’，同时保留模型的特征表达能力。

二、BN（Batch Normalization）：按“批次+特征”校准，CV领域的标配

2.1 BN的核心原理：批次内的“同特征校准”

BN的全称是Batch Normalization（批量归一化），核心逻辑是：对一个训练批次（Batch）中，所有样本的“同一特征维度”计算均值和方差，再用这个均值和方差对该维度的所有数值进行标准化。

简单来说，BN的校准范围是“跨样本、同特征”——一批样本中，同一个特征维度的所有数值，会被用同一个均值和方差校准。

2.2 直观例子：一看就懂BN的计算过程

假设我们有一个训练批次，Batch大小为4（即4个样本），每个样本有3个特征维度（如“身高、体重、年龄”），样本数据如下：

样本1：[1, 5, 9]
样本2：[2, 6, 10]
样本3：[3, 7, 11]
样本4：[4, 8, 12]

BN的计算步骤：

按“同一特征维度”计算均值（μ）和方差（σ²）：
- 第1维特征（身高）：均值μ=(1+2+3+4)/4=2.5，方差σ²=1.25；
- 第2维特征（体重）：均值μ=(5+6+7+8)/4=6.5，方差σ²=1.25；
- 第3维特征（年龄）：均值μ=(9+10+11+12)/4=10.5，方差σ²=1.25；
用对应维度的均值和方差，对每个样本的该维度数值进行标准化：
- 样本1第1维：(1-2.5)/√(1.25+1e-5) ≈ -1.34，再乘以γ、加上β得到最终校准值；
- 其他样本、其他维度以此类推，每个特征维度都用自己的均值和方差校准。

从例子能看出：BN的校准是“按特征维度来的”，同一批次中，所有样本的同一个特征，都会被用同一个标准校准，不同特征维度的校准互不干扰。

2.3 BN的关键特性（实战必知）

强依赖批次大小：BN的效果好坏，完全取决于批次（Batch）的大小。批次越大，计算出的均值和方差越接近真实数据分布，标准化效果越好；如果批次过小（如Batch=1），计算出的均值和方差就是单个样本的数值，标准化完全失效。
需要维护移动统计量：训练时，BN用的是当前批次的均值和方差；但测试/推理时，我们通常不会输入一个批次的样本（而是单个样本），此时无法计算批次的均值和方差。因此，BN会在训练过程中累积“移动均值（running mean）”和“移动方差（running var）”，测试时直接使用这两个累积的统计量进行标准化，保证训练和测试的一致性。
适配固定维度数据：BN要求每个批次的样本，特征维度和形状必须完全固定（如每张图像都是32×32×3的尺寸），无法适配动态长度的数据（如长短不一的文本序列）。

2.4 BN的适用场景：CV领域的“黄金搭档”

BN的特性决定了它最适合处理“固定形状、固定维度”的静态数据——这正是计算机视觉（CV）领域的核心数据类型（图像、视频帧）。

典型适用场景：

图像分类（如ResNet、VGG、MobileNet）；
目标检测、语义分割（如YOLO、Mask R-CNN）；
表格数据挖掘（如房价预测、用户画像分类）；
普通全连接网络（MLP）。

在CV领域，BN几乎是“标配组件”——没有BN，深层CNN的训练会变得极其困难，梯度消失/爆炸问题会频繁出现，收敛速度也会慢到无法接受。

三、LN（Layer Normalization）：按“样本+整层”校准，NLP领域的“专属工具”

3.1 LN的核心原理：单个样本的“全特征校准”

LN的全称是Layer Normalization（层归一化），核心逻辑与BN完全相反：对单个样本的“整层所有特征维度”计算均值和方差，再用这个均值和方差对该样本的所有特征进行标准化。

简单来说，LN的校准范围是“同样本、跨特征”——一个样本中，所有特征维度的数值，会被用同一个均值和方差校准；批次内的每个样本都独立计算，彼此无影响，完全不依赖批次。

3.2 直观例子：一看就懂LN的计算过程

还是用上面的例子：Batch=4，每个样本3个特征维度，样本数据如下：

样本1：[1, 5, 9]
样本2：[2, 6, 10]
样本3：[3, 7, 11]
样本4：[4, 8, 12]

LN的计算步骤：

按“单个样本”计算均值（μ）和方差（σ²）：
- 样本1：均值μ=(1+5+9)/3=5，方差σ²=16；
- 样本2：均值μ=(2+6+10)/3=6，方差σ²=16；
- 样本3：均值μ=(3+7+11)/3=7，方差σ²=16；
- 样本4：均值μ=(4+8+12)/3=8，方差σ²=16；
用该样本自身的均值和方差，对其所有特征维度进行标准化：
- 样本1第1维：(1-5)/√(16+1e-5) = -1，第2维：(5-5)/√(16+1e-5)=0，第3维：(9-5)/√(16+1e-5)=1；
- 其他样本以此类推，每个样本都用自己的标准校准，与其他样本无关。

从例子能看出：LN的校准是“按样本來的”，每个样本都有自己的均值和方差，批次内的样本互不干扰，即使批次大小为1，也能正常工作。

3.3 LN的关键特性（实战必知）

无批次依赖：这是LN最核心的优势。无论批次大小是多少（Batch=1、2、32），LN的效果都不受影响，因为它的均值和方差是基于单个样本计算的，与其他样本无关。
无需维护移动统计量：训练和测试时，LN的计算逻辑完全一致——都是对单个样本的整层特征计算均值和方差，无需累积移动统计量，使用起来更简单，也避免了测试时的模式切换问题。
适配动态长度数据：LN只要求单个样本的特征维度在计算时固定，不同样本的特征长度可以不同（如文本序列，有的句子长10个词，有的句子长20个词）。这是因为它是对单个样本的整层特征进行校准，与样本的长度无关，完美适配序列数据。
鲁棒性更强：LN对单个样本做整体校准，不会因为批次内的某个异常样本（如数值过大、过小），影响整个特征维度的校准结果，鲁棒性优于BN。

3.4 LN的适用场景：NLP领域的“标配组件”

LN的特性决定了它最适合处理“动态长度、序列结构”的数据——这正是自然语言处理（NLP）领域的核心数据类型（文本、语音、时序数据）。

典型适用场景：

文本分类、机器翻译（如Transformer、BERT、GPT）；
大模型预训练（如LLaMA、ChatGLM、Qwen）；
语音识别、时序预测（如LSTM、GRU）；
小批次训练场景（如显存不足，无法开大数据批次）。

在NLP领域，LN是“绝对主力”——尤其是Transformer架构出现后，LN几乎成为了所有大模型的标配。没有LN，Transformer的深层训练会变得极其不稳定，也无法适配长短不一的文本序列。

四、BN与LN的核心差异：一张表彻底分清（实战选型直接看）

很多人分不清BN和LN，本质是没有抓住“计算范围”这个核心差异。下面这张表，从10个关键维度对比二者的差异，实战选型时直接对照看，再也不用纠结。

对比维度	BN（批量归一化）	LN（层归一化）
核心计算范围	批次内「所有样本的同一特征维度」（跨样本、同特征）	单个样本的「整层所有特征维度」（同样本、跨特征）
批次依赖	强依赖，Batch越大效果越好，Batch=1完全失效	无依赖，任意Batch大小（1~任意）都能正常工作
统计量维护	需要维护移动均值（running mean）和移动方差（running var）	无需维护任何统计量，训练/测试逻辑一致
适配数据类型	固定形状、固定维度的静态数据（图像、表格）	动态长度、序列结构的数据（文本、语音、时序）
实现复杂度	稍高（需处理移动统计量，测试需切换模式）	极低（无额外逻辑，训练测试一体化）
对异常值敏感度	敏感，批次内的异常样本会影响整维特征的校准	不敏感，单个样本独立校准，鲁棒性更强
典型应用领域	计算机视觉（CV）	自然语言处理（NLP）、序列建模
代表网络架构	CNN系列（ResNet、VGG、YOLO）、MLP	Transformer、BERT、GPT、LSTM/GRU
显存占用	稍高（需存储移动统计量）	较低（无额外存储开销）
调参难度	稍高（需关注Batch大小、移动统计量更新）	极低（无需额外调参，直接使用默认参数即可）

五、实战用法：BN和LN的正确使用姿势（必看！）

无论是BN还是LN，它们的使用都有一个“固定黄金顺序”——这是无数实战经验总结出来的，颠倒顺序会导致标准化完全失效，一定要记住！

5.1 黄金使用顺序（通用）

线性层/卷积层 → 归一化层（BN/LN） → 激活函数

为什么不能颠倒？

标准化的核心目的，是让激活函数的“输入”处于稳定的有效区间。如果先激活再标准化，激活函数已经处理了混乱的数值（如进入饱和区、失效区），此时再做标准化，已经无法解决梯度消失/爆炸的问题，完全失去了标准化的意义。

正确逻辑：先通过BN/LN校准线性层/卷积层的输出（激活函数的输入），再传入激活函数，让激活函数始终工作在有效区间，充分发挥其非线性拟合能力。

5.2 BN的实战使用要点（PyTorch代码示例）

BN在CV领域的使用最广泛，以CNN处理图像为例，PyTorch中提供了专门的BN类（nn.BatchNorm1d/2d/3d），分别适配1D、2D、3D数据（图像通常是2D数据，用nn.BatchNorm2d）。

代码示例（CNN+BN经典结构）：

import torch
import torch.nn as nn

# 定义一个简单的CNN，包含BN层
class CNNWithBN(nn.Module):
    def __init__(self):
        super().__init__()
        # 卷积层 → BN层 → ReLU激活（黄金顺序）
        self.conv_block1 = nn.Sequential(
            nn.Conv2d(in_channels=3, out_channels=16, kernel_size=3, padding=1),
            nn.BatchNorm2d(16),  # 入参为卷积输出的通道数，框架自动适配图像维度
            nn.ReLU(inplace=True)
        )
        self.conv_block2 = nn.Sequential(
            nn.Conv2d(in_channels=16, out_channels=32, kernel_size=3, padding=1),
            nn.BatchNorm2d(32),
            nn.ReLU(inplace=True)
        )
        self.fc = nn.Linear(32 * 32 * 32, 10)  # 假设输入图像尺寸为32×32×3

    def forward(self, x):
        x = self.conv_block1(x)
        x = self.conv_block2(x)
        x = x.flatten(1)  # 展平特征，用于全连接层
        x = self.fc(x)
        return x

# 测试：模拟3通道图像，Batch=8，尺寸32×32
x = torch.randn(8, 3, 32, 32)
model = CNNWithBN()
output = model(x)
print(output.shape)  # torch.Size([8, 10])

BN使用注意事项：

训练时，Batch大小不宜过小（建议≥8，最好16/32），否则BN效果会大幅下降；如果显存不足，可考虑用LN替代。
PyTorch中，model.train()和model.eval()会自动切换BN的模式：train()时用当前批次的统计量，eval()时用累积的移动统计量，无需手动操作。
卷积层后的BN，入参是“卷积输出的通道数”，框架会自动适配图像的4维张量（Batch, Channel, H, W）。

5.3 LN的实战使用要点（PyTorch代码示例）

LN在NLP领域的使用最广泛，以Transformer处理文本为例，PyTorch中提供了nn.LayerNorm类，核心是指定“归一化的维度”（通常是特征维度，dim=-1）。

代码示例（Transformer+LN经典结构，预LN模式）：

import torch
import torch.nn as nn

# 定义Transformer的前馈层，包含LN层（预LN模式，目前大模型主流）
class TransformerFFN(nn.Module):
    def __init__(self, hidden_dim=768):
        super().__init__()
        # LN层 → GELU激活 → 线性层（预LN黄金顺序）
        self.ffn = nn.Sequential(
            nn.LayerNorm(hidden_dim),  # 入参为特征维度，dim=-1默认对最后一维校准
            nn.GELU(),
            nn.Linear(hidden_dim, hidden_dim * 4),  # 前馈层扩张4倍
            nn.GELU(),
            nn.Linear(hidden_dim * 4, hidden_dim)
        )

    def forward(self, x):
        return self.ffn(x)

# 测试：模拟文本序列，Batch=4，序列长度128，隐藏维度768（BERT/GPT的常用维度）
x = torch.randn(4, 128, 768)
model = TransformerFFN()
output = model(x)
print(output.shape)  # torch.Size([4, 128, 768])

LN使用注意事项：

无需考虑Batch大小，即使Batch=1也能正常工作，适合显存不足的场景。
必须指定“归一化的维度”（通常是特征维度，dim=-1），因为LN是对单个样本的整层特征校准，需要明确校准哪一维度。
Transformer中，LN的位置有两种变体：预LN（归一化→激活→注意力/前馈）和后LN（注意力/前馈→归一化→激活）。目前大模型（如GPT、LLaMA）都采用预LN模式，因为训练更稳定、收敛更快。

5.4 实战选型口诀（记牢这一句，不会错）

CV用BN，NLP用LN；固定形状用BN，动态序列用LN；大批次用BN，小批次用LN。

补充特殊场景：

显存不足，无法开大数据批次（如Batch≤4）：即使是CV场景，也可以用LN替代BN（牺牲一点效果，保证训练能正常进行）。
小样本训练：优先用LN（无批次依赖，避免小批次导致的统计偏差）。
混合数据类型（如既有图像又有文本）：分别用BN和LN，图像部分用BN，文本部分用LN。

六、常见误区：90%的人都会踩的坑

在实际使用中，很多人虽然知道BN和LN的区别，但还是会踩一些基础误区，导致标准化效果失效，甚至影响模型训练。下面这几个误区，一定要避开！

误区1：把标准化的顺序颠倒（最常见）

错误顺序：线性层/卷积层 → 激活函数 → BN/LN

后果：激活函数已经处理了混乱的数值，进入饱和区/失效区，此时再做标准化，无法解决梯度消失/爆炸的问题，标准化完全失效。

正确顺序：线性层/卷积层 → BN/LN → 激活函数（牢记！）

误区2：在NLP场景中用BN，CV场景中用LN

后果：NLP场景中，文本序列长短不一，BN会因批次依赖和固定维度要求而失效；CV场景中，图像是固定形状，LN虽然能工作，但效果不如BN（校准不够精准，收敛速度变慢）。

误区3：测试时忘记切换BN的模式

后果：测试时，BN依然用当前单个样本的统计量（而非训练时累积的移动统计量），导致测试结果波动巨大，模型泛化能力极差。

解决方法：PyTorch中，测试前一定要调用model.eval()，自动切换BN到测试模式；TensorFlow中，要使用tf.keras.backend.set_learning_phase(0)。

误区4：认为LN可以完全替代BN

BN和LN是“各有适配场景”，不是“替代关系”。在CV领域，BN的效果依然优于LN（校准更精准，能更好地利用批次信息）；在NLP领域，LN是唯一的选择。二者相辅相成，而非相互替代。

七、总结：BN和LN的核心价值

BN和LN，本质上都是“数值校准工具”，它们没有复杂的逻辑，却解决了深度网络训练中最核心的“数值分布混乱”问题。

BN的价值，在于为“固定形状的批量数据”（图像）提供了高效的标准化方案，让深层CNN能稳定训练，成为CV领域的“基石”；

LN的价值，在于为“动态长度的序列数据”（文本）提供了灵活的标准化方案，让Transformer等大模型能适配长短不一的文本，成为NLP领域的“核心”。

理解BN和LN的关键，不在于记住公式，而在于抓住“计算范围”这个核心差异——BN是“跨样本、同特征”，LN是“同样本、跨特征”。记住这个差异，再结合实战选型口诀，你就能在任何场景下，轻松选择合适的标准化方法。

延伸推荐

如果你想深入了解BN的原理，可以阅读论文《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》；
如果你想深入了解LN的原理，可以阅读论文《Layer Normalization》；

亚马逊云科技技术品牌专区

更多推荐

open-code-review Codex 插件教程：对话式调用评审技能指南

本文是一份面向新手的 **open-code-review Codex 插件教程**，教你在 Codex 中通过对话式方式调用 open-code-review 的 AI 代码评审技能。open-code-review 是阿里巴巴开源的 AI 代码评审工具，采用"确定性流水线 + LLM Agent"混合架构，内置多语言评审规则（NPE、线程安全、XSS、SQL 注入等），可在 Codex 里用一

亚马逊云科技技术品牌专区

OBS Studio 完整指南：免费开源录屏与直播软件从零上手

想做一场像模像样的直播，或者把屏幕内容录成教程视频，但一想到商用软件的订阅费就有些犹豫？其实你不需要花一分钱。OBS Studio 是一款免费开源的直播与录屏软件，支持 Windows、macOS 和 Linux，采集、混音、编码、推流、录制，一条流水线全包了。## 先搞清楚 OBS Studio 是什么OBS Studio 是一个"场景化"的采集合成工具：你把摄像头、窗口、浏览器、图片、

亚马逊云科技技术品牌专区

如何用MediaCrawler爬取小红书抖音数据？7大平台爬虫从安装到实战完整指南

MediaCrawler 是一个支持小红书、抖音、快手、B站、微博、百度贴吧、知乎的开源自媒体数据采集工具。它能按关键词、按帖子、按创作者主页三种方式抓取笔记/视频内容、评论甚至二级评论，并把结果存成 JSON、CSV、Excel 或数据库。适合做市场调研、竞品监控、内容选题的运营人员，以及想要现成爬虫框架而不想从零写 JS 逆向的开发者。## 从一次"手动抄数据"说起想象这个场景：你负责