L2求导为θ，当参数特别大时，参数更新的梯度也大，当参数特别小时，参数更新的梯度也小。L2可以每个参数都变小但是不至于变成0，这样可以减少模型的复杂度，防止模型拟合数据中的噪声。L1在反向传播，梯度更新的时候梯度下降的步长衡为1，在参数更新的时候很多参数都学成了0，因此能达到稀疏的目的。在神经网络的卷积操作之后会得到多个特征图，通过策略突出重要的特征达到对网络瘦身的目的。sigmoid函数在神经网

add：逐元素按值相加concat：按照指定的维度进行张量堆叠。

本文只是一个CUDA编程小白记录学习过程的。更全面的理解和学习请跳转。