[机器学习-从入门到入土] 线性回归

个人导航

知乎：https://www.zhihu.com/people/byzh_rc

CSDN：https://blog.csdn.net/qq_54636039

注：本文仅对所述内容做了框架性引导，具体细节可查询其余相关资料or源码

参考文章：各方资料

线性回归 linear regression

线性回归用于刻画连续目标变量与输入特征之间的函数关系，其核心假设是：

模型对参数是线性的（linearity in parameters）

基本形式

单变量线性回归模型：
$$y=w_0+w_{1}x$$

多变量线性回归模型：
$$y=w_0+\sum _{j=1}^d{w}_j{x}_j={\mathbf{w}}^{\top }\mathbf{x}$$

其中：

• $w_0$：偏置项（bias）
• $\mathbf{w}$：权重向量
• $\mathbf{x}$：特征向量（含 $x_0=1$）

模型表达能力

线性回归的表达能力不取决于是否“线性”拟合数据，而取决于特征设计

1.特征组合优化（以手机价格预测为例）

单独使用高度、宽度：
$$h(x)=w_0+w_1\cdot height+w_2\cdot width$$

融合特征（面积）：
$$h(x)=w_0+w_1\cdot (height\times width)$$

结论：

合理的特征组合可以显著提升模型表达能力，而不增加模型复杂度

2.多项式特征扩展

通过引入高阶特征，线性模型可拟合非线性关系：
$$y=w_0+w_{1}x+w_2{x}^2+\cdots +w_n{x}^n$$

注意：

• 对 $w$ 仍然是线性的
• 对 $x$ 是非线性的

欠拟合与过拟合

1.三种拟合状态对比

状态	根本原因	典型表现
欠拟合underfit	模型复杂度过低	高偏差，训练误差大
合适拟合	复杂度匹配数据	泛化性能最佳
过拟合overfit	模型复杂度过高	高方差，测试误差大

原则：在不过拟合的前提下，优先选择更简单的模型

2.过拟合的权重特征

• 权重绝对值异常大
• 高阶项系数正负交替、剧烈振荡

代价函数

平方损失函数

给定训练集 $\{(x^{(i)},y^{(i)}){\}}_{i=1}^m$，定义均方误差损失：
$$J(w)=\frac{1}{2m}\sum _{i=1}^m(h_w(x^{(i)})-y^{(i)}{)}^2$$

目标：
$$\underset{w}{\min }J(w)$$

梯度下降更新规则

$$w_j:=w_j-\alpha \frac{1}{m}\sum _{i=1}^m(h_w(x^{(i)})-y^{(i)})x_j^{(i)}$$

L2 正则化（Ridge Regularization）

正则化的基本思想: 加入复杂度惩罚项

正则化后的损失函数

$$
J(w)=\frac{1}{2m}\left[
\sum_{i=1}^{m}(h_w(x{(i)})-y^{(i)})2

• \lambda \sum_{j=1}^{n} w_j^2
  \right]
  $$

说明：

• $w_0$ 不参与正则化
• $\lambda$ 控制惩罚强度

$\lambda$ 的影响

• $\lambda =1$时：惩罚力度极强，权重参数被强烈压缩，除bias外其余权重趋于0
  -> 模型接近 常数函数
• $\lambda$过小时：惩罚力度不足，无法有效限制权重，仍可能发生过拟合
• $\lambda$过大时：惩罚过重，权重趋近于0，模型失去拟合能力，导致欠拟合

最优选择：一般希望$\lambda$取较小值，在缓解过拟合的同时，保留模型对数据规律的拟合能力

• $\lambda \to 0$：趋近普通最小二乘（易过拟合）
• $\lambda$ 过大：权重趋近 0（欠拟合）

含正则化的梯度下降

1.偏置项bias更新（不正则化）

$${\mathbf{w}}_0:={\mathbf{w}}_0-\alpha \frac{1}{\mathbf{m}}\sum _{\mathbf{i}=1}^{\mathbf{m}}({\mathbf{h}}_{\mathbf{w}}({\mathbf{x}}^{(\mathbf{i})})-{\mathbf{y}}^{(\mathbf{i})})$$

2.其他参数weight更新（正则化）

$$
\mathbf{
w_j := w_j \left(1-\alpha\frac{\lambda}{m}\right)

• \alpha \frac{1}{m}
  \sum_{i=1}^{m}(h_w(x{(i)})-y^{(i)})x_j{(i)}
  }
  $$

理解：先压缩参数$(1-\alpha \frac{\lambda }{m})$，再根据数据更新

正则化的闭式解

无正则化的闭式解: (也是正规方程)
$$\mathbf{w}=(X^{\top }X{)}^{-1}{X}^{\top }y$$

矩阵形式解：
$$\mathbf{w}={\left(X^{\top }X+\lambda \cdot \text{diag}(0,1,1,\dots ,1)\right)}^{-1}{X}^{\top }y$$

作用：

• 避免 $X^{\top }X$ 奇异
• 提升数值稳定性

偏差-方差分解

平方损失下的期望误差：
$$\mathbb{E}[(y-\hat{y}{)}^2]=(\text{bias}{)}^2+\text{variance}+\text{noise}$$

• 偏差bias：模型假设带来的系统误差
• 方差variance：对训练数据扰动的敏感度
• 噪声noise：数据本身不可消除误差

贝叶斯线性回归

前面的内容回答的是：‘我该怎么拟合？’
贝叶斯线性回归回答的是：‘我凭什么这样拟合？以及我有多确定？’

-> λ 是从哪儿来的？为什么是平方？为什么是 L2，而不是 L1？

频率学派：$w$ 是未知但固定的常数, 各参数得到点估计

贝叶斯学派：$w$ 是一个随机变量, 每个参数都有一个分布

假设：
$$t_n=w^{\top }\phi (x_n)+\epsilon ,\epsilon \sim \mathcal{N}(0,{\beta }^{-1})$$
于是：
$$p(t_n\mid w)=\mathcal{N}(t_n\mid w^{\top }\phi (x_n),{\beta }^{-1})$$
整个数据集（独立同分布）：
$$p(t\mid w)=\prod _{n=1}^N\mathcal{N}(t_n\mid w^{\top }\phi (x_n),{\beta }^{-1})$$

1.正则化怎么来的

先验: “一开始就相信权重$w$不应该太大”
$$p(w)=\mathcal{N}(0,{\alpha }^{-1}I)$$
做 MAP（最大后验）估计：
$$\begin{gathered} \arg \underset{w}{\max }p(w\mid t) \\ \to \\ \underset{w}{\max }\ln p(t|w)+\ln p(w) \end{gathered}$$
推导得:
$$\ln p(t|w)+\ln p(w)=-\frac{\beta }{2}\sum _{n=1}^N(t_n-w^{\top }\phi (x_n){)}^2-\frac{\alpha }{2}{w}^{\top }w+\text{const}$$
相当于要最小化:
$$\begin{gathered} \sum _{n=1}^N(t_n-w^{\top }\phi (x_n){)}^2+\frac{\alpha }{\beta }{w}^{\top }w \\ \to \\ 平方误差+\lambda \Vert w{\Vert }^2 \end{gathered}$$
得到了 $\lambda =\frac{\alpha }{\beta }$

• 先验精度 $\alpha$：控制权重偏小的强度
• 数据精度 $\beta$：控制对数据的信任程度

$\alpha$ 越大 → 越相信“权重应小”

$\beta$ 越大 → 越相信数据

-> L2 正则不是技巧，而是“高斯先验”的必然结果

2.OLS只有“一个答案”

前面所有方法，最后得到的都是 $\hat{w}$ 一个解

但不知道：

• 这个解稳不稳？
• 数据少的时候靠不靠谱？
• 哪个预测区间更可信？

贝叶斯给的不是一个点，而是：
$$p(w|t)=\mathcal{N}(m_N,S_N)$$

• 每个参数都有 方差
• 预测输出也是一个 分布

-> 可以说：“预测 $y=3.2$，但 95% 的概率在 $[2.8,3.6]$ 之间”

2.通过 $\ln \lambda$ 控制正则化强度

1. 先验阶段：无数据时，参数分布（prior）集中在初始猜测附近，预测（prediction）是分散的直线
2. 少量数据：后验分布（posterior）向数据方向偏移，预测直线开始集中
3. 更多数据：后验分布更集中，预测直线收敛到拟合数据的趋势
4. 强正则化 / 弱正则化：
   • $\ln \lambda$ 越小（正则化越弱），后验分布越分散、预测波动越大
   • $\ln \lambda$ 越大（正则化越强），后验越集中、预测越稳定

3.数据量对模型参数和预测结果的影响

颜色越深代表 “这个参数组合出现的概率越高”

还没看数据时，参数的 “先验分布” 是一堆同心圆:
(预测线是乱的, 因为参数不确定)

随着数据变多，参数的 “后验分布” 从 “扁椭圆” 变成 “小圆圈”:
-> 说明数据让我们对参数的猜测越来越精准（分布越来越集中）
(随着数据变多，红色直线越来越 “挤在一起”，最后几乎重合)

例题

在机器学习模型中引入$L_2$正则化项的目的是什么? 其工作原理是什么?

答:

防止模型过拟合（即模型在训练数据上表现好，但泛化能力差）

在损失函数中加入模型参数的L2范数，迫使参数取值更小，降低模型复杂度，避免对训练数据的 “过度拟合”, 学习到噪声