机器学习核心概念（七）--正则化在线性回归和逻辑回归中的应用
·
1.正则化的基本概念
在机器学习中，模型如果太复杂，参数太多，容易过拟合，也就是在训练集上表现很好，但是在测试集上表现差。
正则化就是损失函数上加上一个惩罚项，让模型参数不要太大，从而提高模型的泛化能力
正则化的基本形式： Loss=原始损失+*正则化项
是正则化系数，控制正则化强度
- 正则化项通常与模型参数
的大小有关
2.线性回归中的正则化
（1）原始线性回归损失函数
线性回归最常用的损失函数是均方误差
其中
（2）正则化形式
- 惩罚项：
- 作用:限制参数过大，模型更平滑
- 特点：参数一般不会变为0，但是会减小权重
（3）直观理解
- 没有正则化：模型可能会为了完美拟合训练集，
- 加入惩罚项：
（4）例子
假设数据是多项式回归,但我们用高次多项式拟合：
- 不加正则化：高阶多项式系数可能非常大，曲线震荡-->过拟合
- 正则化-->高阶系数被压小，曲线平滑-->泛化能力强
3.逻辑回归中的正则化
逻辑回归用于分类，输出概率：
损失函数是交叉熵损失：
（1）正则化形式
（2）作用
- 防止过拟合（特别是特征维度多的时候）
- 限制模型权重大小-->输出概率不归于极端
- L1可以实现特征选择，适合高维系数数据
（3）直观理解
- 没有正则化：模型可能对训练集拟合过度，输出概率接近0或1-->测试集表现差
- 正则化：权重被限制在合理范围-->模型更稳健
正则化通过在损失函数中加入权重平方惩罚，使模型参数不至于过大，从而防止过拟合，提高线性回归和逻辑回归的泛化能力，使模型更平滑，稳健，对训练数据噪声不敏感。
更多推荐
6
0- 0
已为社区贡献7条内容
所有评论(0)