[机器学习-从入门到入土] 拓展-最小二乘法

个人导航

知乎：https://www.zhihu.com/people/byzh_rc

CSDN：https://blog.csdn.net/qq_54636039

注：本文仅对所述内容做了框架性引导，具体细节可查询其余相关资料or源码

参考文章：各方资料

最小二乘法OLS

OLS: Ordinary Least Squares

1.问题背景

给定一组带噪声的观测数据：
$$\{(x^{(i)},y^{(i)}){\}}_{i=1}^m$$

假设输出由线性模型生成：
$$y^{(i)}\approx h_w(x^{(i)})$$
但由于噪声、测量误差等原因，不可能完全拟合所有样本，因此需要一个准则来衡量“拟合得好不好”

2.核心思想

最小二乘法（OLS）的基本思想是：
选择参数 $w$，使模型预测值与真实值之间的平方误差之和最小

数学形式(Ordinary Least Squares)：
$$\underset{w}{\min }\sum _{i=1}^m{\left(h_w(x^{(i)})-y^{(i)}\right)}^2$$

3.为什么使用平方误差

平方误差具有以下优点：

• 对大误差惩罚更强（凸函数）
• 连续可导，便于优化
• 具有统计学解释
  -> 在噪声服从高斯分布$\epsilon \sim \mathcal{N}(0,{\sigma }^2)$的假设下, 最小化平方误差 等价于最大似然估计（MLE）

4.矩阵形式表示

定义设计矩阵与输出向量：
$$X=\left[\begin{array}{c}(x^{(1)}{)}^{\top }\\ (x^{(2)}{)}^{\top }\\ ⋮\\ (x^{(m)}{)}^{\top }\end{array}\right],y=\left[\begin{array}{c}{y}^{(1)}\\ y^{(2)}\\ ⋮\\ y^{(m)}\end{array}\right]$$

m个样本

模型预测：
$$\hat{y}=Xw$$

OLS 的目标函数可写为：
$$J(w)=\frac{1}{2}\Vert Xw-y{\Vert }^2$$

$1/2$方便求导的时候消掉

5.几何意义（核心理解）

OLS 寻找的是：使 $Xw$ 成为 $y$ 在 $\mathcal{C}(X)$ 上的正交投影

因此残差满足：
$$y-Xw\perp \mathcal{C}(X)$$

6.正规方程（Normal Equation）

$$J(w)=\frac{1}{2}(Xw-y{)}^{\top }(Xw-y)$$

具体求导：
$$\begin{array}{rl}{\nabla }_{w}J(w)& =\frac{1}{2}{\nabla }_w[(Xw-y{)}^{\top }(Xw-y)]\\ & =\frac{1}{2}\cdot 2X^{\top }(Xw-y)\\ & =X^{\top }(Xw-y)\end{array}$$
由一阶最优条件（梯度为 0）得到：
$$X^{\top }(Xw-y)=0$$

-> 正规方程：
$${\mathbf{X}}^{\top }\mathbf{Xw}={\mathbf{X}}^{\top }\mathbf{y}$$

当且仅当：
$$X^{\top }X\text{ 可逆}$$

解为：
$$w_{\text{OLS}}=(X^{\top }X{)}^{-1}{X}^{\top }y$$

解为闭式解:

闭式解: 可以用有限步代数运算直接算出问题的解，不需要通过迭代逼近

7. OLS 的局限性

• 特征共线性 → $X^{\top }X$ 奇异
• 高维小样本（$d>m$）→ 解不存在
• 对噪声敏感 → 高方差、易过拟合

这些问题直接引出了：

• L2 正则化（Ridge Regression）
• L1 正则化（Lasso）
• 贝叶斯线性回归

附 - 证明最小化平方误差等价于最大似然估计

线性回归模型：
$$y^{(i)}=w^{\top }{x}^{(i)}+{\epsilon }^{(i)},i=1,\dots ,m$$
假设噪声：
$${\epsilon }^{(i)}\sim \mathcal{N}(0,{\sigma }^2),\text{独立同分布 (i.i.d.)}$$
因此，每个观测值 $y^{(i)}$ 的条件分布为：
$$p(y^{(i)}\mid x^{(i)},w)=\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp \left[-\frac{(y^{(i)}-w^{\top }{x}^{(i)}{)}^2}{2{\sigma }^2}\right]$$
假设样本独立，整个数据集的似然函数为：
$$p(y\mid X,w)=\prod _{i=1}^{m}p(y^{(i)}\mid x^{(i)},w)=\prod _{i=1}^m\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp \left[-\frac{(y^{(i)}-w^{\top }{x}^{(i)}{)}^2}{2{\sigma }^2}\right]$$
似然函数取对数（简化计算）：
$$\begin{array}{rl}\ln p(y\mid X,w)& =\sum _{i=1}^m\ln \frac{1}{\sqrt{2\pi {\sigma }^2}}-\sum _{i=1}^m\frac{(y^{(i)}-w^{\top }{x}^{(i)}{)}^2}{2{\sigma }^2}\\ & =-\frac{m}{2}\ln (2\pi {\sigma }^2)-\frac{1}{2{\sigma }^2}\sum _{i=1}^m(y^{(i)}-w^{\top }{x}^{(i)}{)}^2\end{array}$$
注意到：

• 第一项 $-\frac{m}{2}\ln (2\pi {\sigma }^2)$ 不依赖 $w$
• 第二项 $-\frac{1}{2{\sigma }^2}\sum (y^{(i)}-w^{\top }{x}^{(i)}{)}^2$ 依赖 $w$

因此，最大化对数似然 等价于 最小化平方误差：
$$\underset{w}{\max }\ln p(y\mid X,w)⟺\underset{w}{\min }\sum _{i=1}^m(y^{(i)}-w^{\top }{x}^{(i)}{)}^{2}w$$

注意 $1/(2{\sigma }^2)$ 只是常数，不影响最优 $w$

得出结论:
$$\boxed{\text{OLS 最小平方误差 }\equiv \text{MLE (线性回归 + 高斯噪声)}}$$
换句话说：最小二乘法OLS在高斯噪声假设下是最大似然估计MLE的一个特例