1 线性回归基本概念

线性回归是一种用于预测连续数值的监督学习算法，它通过找到特征与目标值之间的线性关系来进行预测。

简单来说，就是用一条直线（或平面/超平面）来拟合数据点，使得预测值与实际值之间的差距最小。

现实中的例子：

• 房地产：根据房屋面积、房间数量、地理位置预测房价
• 金融：根据工资、年龄、信用记录预测贷款额度
• 商业：根据广告投入、季节因素预测产品销量
• 医疗：根据年龄、体重、生活习惯预测血压值

1.1 银行信贷例子

# 示例数据：客户信息与贷款额度
import pandas as pd

data = {
    '客户ID': [1, 2, 3, 4, 5, 6, 7, 8, 9, 10],
    '月薪(元)': [4000, 8000, 5000, 12000, 6000, 9000, 7000, 3000, 10000, 5500],
    '年龄': [25, 30, 28, 35, 32, 40, 29, 26, 38, 31],
    '工作年限': [2, 8, 5, 12, 6, 15, 7, 1, 10, 4],
    '实际贷款额度(元)': [20000, 70000, 35000, 150000, 50000, 180000, 60000, 15000, 130000, 40000]
}

df = pd.DataFrame(data)
print(df)

在这个例子中：

• 特征（输入变量）：月薪、年龄、工作年限
• 标签（输出变量）：贷款额度
• 目标：建立一个数学模型，能够根据客户的月薪、年龄和工作年限，准确预测银行应批准的贷款额度

2 数学模型

2.1 基本公式

对于有2个特征的情况：
$$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2$$

其中：

• $h_{\theta }(x)$：预测值（银行贷款额度）

• ${\theta }_0$：偏置项（截距）

• ${\theta }_1,{\theta }_2$：特征权重参数

• $x_1,x_2$：特征值（工资、年龄）

对于有n个特征的一般情况：
$$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+\cdots +{\theta }_n{x}_n$$

向量化表示：

• 添加$x_0=1$（偏置项对应项）
• 定义参数向量：$\theta =[{\theta }_0,{\theta }_1,{\theta }_2,\cdots ,{\theta }_n{]}^T$
• 定义特征向量：$x=[1,x_1,x_2,\cdots ,x_n{]}^T$
• 预测公式简化为：$h_{\theta }(x)={\theta }^{T}x$

2.2 矩阵形式（多个样本）

当有m个训练样本时：

$$X=\left[\begin{array}{ccccc}1& x_1^{(1)}& x_2^{(1)}& \cdots & x_n^{(1)}\\ 1& x_1^{(2)}& x_2^{(2)}& \cdots & x_n^{(2)}\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ 1& x_1^{(m)}& x_2^{(m)}& \cdots & x_n^{(m)}\end{array}\right],y=\left[\begin{array}{c}{y}^{(1)}\\ y^{(2)}\\ ⋮\\ y^{(m)}\end{array}\right],\theta =\left[\begin{array}{c}{\theta }_0\\ {\theta }_1\\ ⋮\\ {\theta }_n\end{array}\right]$$

预测值向量：$h_{\theta }(X)=X\theta$

3 误差分析与目标函数

3.1 误差的统计假设

在现实中，我们的预测很难完全准确，总会存在误差：

$$y^{(i)}={\theta }^T{x}^{(i)}+{\epsilon }^{(i)}$$

其中${\epsilon }^{(i)}$是第i个样本的误差项。

为什么假设误差服从高斯分布？

• 中心极限定理：许多微小随机因素的综合影响
• 数学处理的便利性
• 实际数据中常见

误差的高斯分布假设：${\epsilon }^{(i)}\sim N(0,{\sigma }^2)$

这意味着误差以0为中心，呈钟形分布。

3.2 从最大似然到最小二乘

最大似然估计思想：找到最有可能产生观测数据的参数值。

推导过程：

• 由误差假设：$y^{(i)}|x^{(i)};\theta \sim N({\theta }^T{x}^{(i)},{\sigma }^2)$
• 似然函数：$L(\theta )={\prod }_{i=1}^m\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2}{2{\sigma }^2}\right)$
• 对数似然：$\ell (\theta )=m\log \frac{1}{\sqrt{2\pi }\sigma }-\frac{1}{2{\sigma }^2}{\sum }_{i=1}^m(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2$
• 最大化$\ell (\theta )$等价于最小化${\sum }_{i=1}^m(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2$

最小二乘目标函数：
$$J(\theta )=\frac{1}{2m}\sum _{i=1}^m{\left(h_{\theta }\left(x^{(i)}\right)-y^{(i)}\right)}^2$$

注意：

• 除以$m$是为了得到平均误差
• 乘以$1/2$是为了后续求导时消去系数2
• 目标：找到使$J(\theta )$最小的参数$\theta$

4 参数求解方法

4.1 正规方程法（解析解）

推导过程：

• 目标函数：$J(\theta )=\frac{1}{2}(X\theta -y{)}^T(X\theta -y)$
• 对$\theta$求导：$\frac{\partial J(\theta )}{\partial \theta }=X^T(X\theta -y)$
• 令导数为0：$X^T(X\theta -y)=0$
• 解得：$\theta =(X^{T}X{)}^{-1}{X}^{T}y$

4.2 梯度下降法（迭代求解）

三种梯度下降方法对比：

方法	更新公式	优点	缺点
批量梯度下降	${\theta }_j^{\prime }={\theta }_j+\frac{1}{m}{\sum }_{i=1}^m(y^i-h_{\theta }(x^i))x_j^i$	收敛稳定	速度慢
随机梯度下降	${\theta }_j^{\prime }={\theta }_j+(y^i-h_{\theta }(x^i))x_j^i$	速度快	震荡大
小批量梯度下降	${\theta }_j={\theta }_j-\alpha \frac{1}{b}{\sum }_{k=i}^{i+b-1}(h_{\theta }(x^{(k)})-y^{(k)})x_j^{(k)}$	平衡效率与稳定性	需要调参

4.3 梯度下降关键参数

• 学习率($\alpha$)：步长大小，影响收敛速度

• 批处理大小：通常取32、64、128等

• 迭代次数：收敛条件

5 模型评估

5.1 决定系数R^2

决定系数（Coefficient of Determination），记作R²，是用于评估回归模型拟合优度的重要指标。它表示模型能够解释的目标变量变异性的比例。

$$R^2=1-\frac{{\sum }_{i=1}^m{\left({\hat{y}}_i-y_i\right)}^2}{{\sum }_{i=1}^m{\left(y_i-\bar{y}\right)}^2}$$

解释：

• R^2越接近1，模型拟合越好
• 表示模型解释的目标变量变异性的比例

5.2 核心公式

$$R^2=1-\frac{{\sum }_{i=1}^m({\hat{y}}_i-y_i{)}^2}{{\sum }_{i=1}^m(y_i-\bar{y}{)}^2}$$

其中：

• ${\hat{y}}_i$：第i个样本的预测值
• $y_i$：第i个样本的实际值
• $\bar{y}$：所有实际值的平均值
• $m$：样本数量

5.3 R²的组成部分详解

5.3.1 分子：残差平方和（SSres）

$${\text{SS}}_{res}=\sum _{i=1}^m({\hat{y}}_i-y_i{)}^2$$

含义：模型预测值与真实值之间的差异平方和

• 值越小，说明预测越准确
• 反映了模型未能解释的变异部分

5.3.2 分母：总平方和（SStot）

$${\text{SS}}_{tot}=\sum _{i=1}^m(y_i-\bar{y}{)}^2$$

含义：真实值与其平均值之间的差异平方和

• 反映了目标变量的总变异性
• 相当于"最朴素模型"（总是预测平均值）的误差

5.4 R²的直观理解

5.4.1 几何解释

把R²想象成：

• 总变异性 = 目标变量自身的波动程度
• 解释的变异性 = 模型能够说明的那部分波动
• 未解释的变异性 = 模型无法说明的剩余波动

$$R^2=\frac{\text{解释的变异性}}{\text{总变异性}}=1-\frac{\text{未解释的变异性}}{\text{总变异性}}$$

5.4.2 类比理解

考试成绩的比喻：

• 总变异性：全班同学成绩的差异程度
• 解释变异性：通过学习时间、智商等因素能够解释的成绩差异
• R²：这些因素能够解释的成绩差异占总差异的比例

5.5 R²的取值范围和解释

5.5.1 取值范围

• 最佳情况：R² = 1
  • 所有预测点都落在回归线上
  • 模型完美拟合数据
• 最差情况：R² ≤ 0
  • 模型预测效果不如直接使用平均值
  • 在实际应用中很少出现负值

5.5.2 经验解释

R²值范围	拟合效果评价	说明
0.9-1.0	极好	模型解释绝大部分变异
0.7-0.9	很好	模型解释大部分变异
0.5-0.7	一般	模型解释约一半变异
0.3-0.5	较差	模型解释能力有限
0.0-0.3	很差	模型几乎无解释能力