在训练模型的时候，可能会遇到网络过拟合的问题，解决这个问题主要的方法有数据增强、Dropout、DropConnect、早停、以及正则化，这里记录一下常见的正则化方法及其特点。L1正则化L1正则化就是在原本的损失函数L0的基础上，加上模型参数的1范数的和与参数量n的比值，如下：对L1正则化后的损失函数进行优化会令模型参数wi趋向于0，产生稀疏解，相当于减小了网络复杂度，具有一定的特征选择能力。L2