线性回归：

给定数据集 D={(x1​,y1​),(x2​,y2​),…,(xm​,ym​)}，每组数据包含多维特征 xi​ 与对应真实结果 yi​。不同特征会共同影响最终输出，线性回归就是拟合特征与结果的线性关系，让模型预测值尽可能贴近真实值，并用该模型预测新数据的输出。

表达式: f(x) = W1 * x1 + W2 * x2 + ... + Wn * Xn + b 

误差函数:

现在用一个公式计算输出和真实值间的误差: loss =(f(x)-y)² =(w * x - y)²

我们需要求解w使得loss的值尽可能小

线性回归模型参数求解

1、穷举法 

暴力枚举所有可能的参数 w，逐一计算损失函数 loss，找到使 loss 最小的 w。

逻辑简单但效率极低。

2、最小二乘法

将均方误差损失视为关于 w 的二次函数，对 w 求导并令导数为 0，此时原函数有最小值，loss最小，直接得到全局最优闭式解。

计算需用到矩阵求导，其中包含矩阵的逆矩阵，并非所有矩阵都有可逆矩阵，所以该方法受限

3、梯度下降法

该方法依旧利用loss关于w的二次函数关系，求出导数，利用导数的正负和数值不断地修改w的值，直到导数接近0，最终获得最适合的w

对于多个特征的情况，每个 w 单独求偏导，得到各自梯度，所有梯度算完后，同步更新所有 w

wi = wj - α *（dJ(w) / dw），经过多轮计算最终获得合适的趋于稳定的w

(dJ(w) / dw)为梯度，即损失函数对w的导数

α为学习率，控制w每次变化的速度，α的选取对结果十分重要