神经网络的后向传播是在神经网络进行训练时，神经网络各层更新数值的方法。后向传播大致可以分为以下三种情况：在节点处相加的情况：节点会将传入的梯度值直接向后传播。在节点处相乘的情况：将输入端的值对调，并和传入的梯度值相乘。在节点处进行函数变换：对函数求导，并和传入的梯度值相乘。特别的，如果g=max()g=max()g=max()，那么只有达到了max的x的分量会传出梯度值，其它分量传出的梯...

前文介绍了BERT的原理。在实际应用中，BERT要比其理论本身要简单的多。这里我们利用Github的中文BERT预训练的结果（地址），进行实际的文档分类。数据集为了便于进行比较，文档分类的数据集来自Github的这个地址。该数据集使用了THUCNews的一个子集，使用了其中的10个分类，每个分类6500条数据。类别如下：体育, 财经, 房产, 家居, 教育, 科技, 时尚, 时政, 游戏,...