一、背景

基于对应链接示例上的深度学习过程，对每一步进行详细的说明，方便数据和实例的结合理解深度学习的过程。

示例的简单介绍：提供0-9的数字灰度照片进行深度学习训练，数据包括6万张训练图像和1万张测试图像以及对应的标签（即0-9的标签）。图像的像素为28*28,大小为784。

续：为什么选择小权重进行初始化

二、梯度

梯度概念

梯度 是一个向量，指向函数值变化最快的方向。神经网络中，使用梯度下降法优化损失函数，沿着梯度反方向更新权重，使损失函数值减小。

"""
比喻1：爬山
- 你站在山上，想知道哪条路下山最快
- 梯度就是指向最陡峭下山方向的箭头
- 箭头长度表示坡度的陡峭程度

比喻2：导航系统
- 你在城市中，想找到去目的地的最近路线
- 梯度就是告诉你"往东走100米，再往北走50米"
- 梯度方向：最佳前进方向
- 梯度大小：需要前进的距离
"""

数学定义（求偏导）：

$$对于多元函数f(w),其中w=(w_1,w_2,...,w_n)，梯度定义为:$$

$$\nabla f(w)=(\frac{\partial f}{\partial w_1},\frac{\partial f}{\partial w_2},...,\frac{\partial f}{\partial w_n})$$

更新权重公式：

$$w\leftarrow w-\eta \ast \nabla fw)$$
其中 η 是学习率。

在神经网络中，梯度表示：当权重发生微小变化时，损失函数的变化率。如果梯度很大，说明权重的微小变化会导致损失函数大幅变化；如果梯度很小，说明权重的变化对损失函数影响很小。

梯度消失

是什么？ 在神经网络中，反向传播过程中，传递从输出层向输入层传递时，梯度值越来越小，前面几层的权重更新非常缓慢，甚至停止更新。

三、大随机数初始化导致梯度消失

以sigmoid激活函数为例

sigmoid函数及其导数如下：

$$\sigma (x)=\frac{1}{1+e^{-x}},{\sigma }^{\prime }(x)=\sigma (x)(1-\sigma (x))$$

sigmoid函数的导数图像为钟形曲线，最大值在x=0处，为0.25。当|x|较大时，导数趋近于0。

如果我们使用大随机数初始化权重，比如权重值在[-1, 1]之间，那么对于隐藏层的每个神经元，其输入加权和可能很大（因为权重和输入值的乘积累加）。例如，如果输入值在[0,1]之间，权重在[-1,1]之间，那么加权和可能远大于1或远小于-1。

当加权和的绝对值很大时，sigmoid函数的输出会接近0或1，此时导数接近0。在反向传播时，梯度需要乘以这些导数值，因此梯度会迅速减小。

具体示例

考虑一个简单的三层网络（输入层、隐藏层、输出层），使用sigmoid激活函数。

前向传播：

• 隐藏层输入：$z_h=W_{1}x+b_1$
• 隐藏层输出：$a_h=\sigma (z_h)$
• 输出层输入：$z_o=W_2{a}_h+b_2$
• 输出层输出：$a_o=\sigma (z_o)$

反向传播：

• 输出层误差：${\delta }_o=(a_o-y)\cdot {\sigma }^{\prime }(z_o)$
• 隐藏层误差：${\delta }_h=(W_2^T{\delta }_o)\cdot {\sigma }^{\prime }(z_h)$

如果权重初始化过大，导致$z_h$和$z_o$的绝对值很大，那么${\sigma }^{\prime }(z_h)$和${\sigma }^{\prime }(z_o)$就会很小。根据链式法则，隐藏层的误差${\delta }_h$会非常小，进而导致梯度消失。

梯度消失的影响

梯度消失会导致网络的前面几层权重更新非常缓慢，因为这些层的梯度几乎为零。这意味着前面几层无法有效地学习，整个网络的性能会下降。

四、数值示例

通过一个具体的数值计算来展示大权重如何导致梯度消失。

假设：

• 输入$x=[0.5,0.5]$
• 权重$W_1$（2x2）初始化为大值：$[[2.0,-2.0],[2.0,-2.0]]$
• 偏置$b_1$ = $[0.0,0.0]$
• 权重$W_2$（2x1）初始化为大值：$[[2.0],[2.0]]$
• 偏置$b_2$ = $[0.0]$
• 目标输出$y=0.5$

使用sigmoid激活函数。

前向传播：

1. 隐藏层输入：$z_1=x\ast W_1=[0.5\ast 2.0+0.5\ast 2.0,0.5\ast (-2.0)+0.5\ast (-2.0)]=[2.0,-2.0]$
2. 隐藏层输出：$a_1=sigmoid(z_1)=[sigmoid(2.0),sigmoid(-2.0)]\approx [0.8808,0.1192]$
3. 输出层输入：$z_2=a_1\ast W_2=0.8808\ast 2.0+0.1192\ast 2.0=2.0$
4. 输出层输出：$a_2=sigmoid(2.0)\approx 0.8808$

计算损失（使用均方误差）：
损失$L=0.5\ast (a_2-y{)}^2=0.5\ast (0.8808-0.5{)}^2\approx 0.0725$

反向传播：

1. 输出层梯度：
   • $\partial L/\partial a_2=a_2-y=0.8808-0.5=0.3808$
   • $\partial a_2/\partial z_2=sigmoi{d}^{\prime }(z_2)=a_2\ast (1-a_2)=0.8808\ast (1-0.8808)\approx 0.1045$
   • 所以 ${\delta }_2=\partial L/\partial z_2=\partial L/\partial a_2\ast \partial a_2/\partial z_2=0.3808\ast 0.1045\approx 0.0398$
2. 隐藏层梯度：
   • 首先，$\partial L/\partial a_1={\delta }_2\ast W_2^T=0.0398\ast [2.0,2.0]=[0.0796,0.0796]$
   • 然后，$\partial a_1/\partial z_1=a_1\ast (1-a_1)=[0.8808\ast (1-0.8808),0.1192\ast (1-0.1192)]\approx [0.1045,0.1050]$
   • 所以 ${\delta }_1=\partial L/\partial z_1=\partial L/\partial a_1\ast \partial a_1/\partial z_1=[0.0796\ast 0.1045,0.0796\ast 0.1050]\approx [0.00832,0.00836]$

可以看到，隐藏层的梯度（${\delta }_1$）大约是0.008，而输出层的梯度（${\delta }_2$）大约是0.04。如果网络更深，梯度会进一步缩小。

权重初始化得更小，比如在[-0.1, 0.1]之间，重新计算：

假设：

• $W_1=[[0.1,-0.1],[0.1,-0.1]]$
• $W_2=[[0.1],[0.1]]$

前向传播：

1. $z_1=[0.5\ast 0.1+0.5\ast 0.1,0.5\ast (-0.1)+0.5\ast (-0.1)]=[0.1,-0.1]$
2. $a_1=[sigmoid(0.1),sigmoid(-0.1)]\approx [0.5249,0.4751]$
3. $z_2=0.5249\ast 0.1+0.4751\ast 0.1=0.1$
4. $a_2=sigmoid(0.1)\approx 0.5249$

反向传播：

1. 输出层梯度：
   • $\partial L/\partial a_2=0.5249-0.5=0.0249$
   • $\partial a2/\partial z_2=0.5249\ast (1-0.5249)\approx 0.249$
   • ${\delta }_2=0.0249\ast 0.249\approx 0.0062$
2. 隐藏层梯度：
   • $\partial L/\partial a_1=0.0062\ast [0.1,0.1]=[0.00062,0.00062]$
   • $\partial a_1/\partial z_1=[0.5249\ast (1-0.5249),0.4751\ast (1-0.4751)]\approx [0.249,0.249]$
   • ${\delta }_1=[0.00062\ast 0.249,0.00062\ast 0.249]\approx [0.000154,0.000154]$

在这个例子中，虽然梯度仍然很小，但这是因为我们的网络很浅，而且损失本身很小。但我们可以看出，当权重较小时，sigmoid函数的导数在0.25左右，而权重较大时，sigmoid函数的导数会很小（如第一个例子中输出层的导数约为0.1045，隐藏层的导数约为0.105）。如果网络更深，大权重导致的梯度消失会更明显。