由上一节可知，我们只需求出每一层的 和 即可完成该层的权值和偏置的更新。

BP算法的整体思路如下：对于每个给定的训练样本，首先进行前向计算，计算出网络中每一层的激活值和网络的输出。对于最后一层(输出层)，我们可以直接计算出网络的输出值与已经给出的标签值(label)直接的差距，我们将这个值定义为残差δ。对于输出层之前的隐藏层L，我们将根据L+1层各节点的加权平均值来计算第L层的残差。

 

        插入一些我个人对BP算法的一点比较容易理解的解释(如有错误请指出)：在反向传播过程中，若第x层的a节点通过权值W对x+1层的b节点有贡献，则在反向传播过程中，梯度通过权值W从b节点传播回a节点。不管下面的公式推导，还是后面的卷积神经网络，在反向传播的过程中，都是遵循这样的一个规律。

 

        反向传播的具体步骤如下：

        (1)根据输入，计算出每一层的激活值。

        (2)对于输出层，我们使用如下公式计算每个单元的残差：

        (3)对于输出层之前的每一层，按照如下公式计算每一层的残差：

        (4)由残差计算每一层的偏导数：

        (5)最后，使用偏导数更新权值和偏置。