自用笔记!!!

线性回归模型

线性回归模型定义：
假设给定数据集$D={\mathbf{x}}_1,y_1,{\mathbf{x}}_2,y_2,\dots ,{\mathbf{x}}_m,y_m，$其中${\mathbf{x}}_i=x_{i1};x_{i2};\dots ;x_{id},y_i\in R$，线性回归就是试图学的一个线性模型尽可能的准确的预测实际输出值。

通俗的讲就是求属性和结果之间的线性关系。线性回归模型的函数表达式可以用下面的式子来表达：
$$f(x)=w_1{x}_1+w_2{x}_2+\cdots +w_n{x}_n+b$$
当然也可以用向量的形式来表达：
$$f\mathbf{x}={\mathbf{w}}^T\mathbf{x}+b$$
从上面的式子来，可以得出线性回归模型就是要求得一组最优的𝑤𝑖和𝑏来确定线性模型，使这个模型无限逼近现有的数据$x_i$和结果$f(x_i)$ 之间的关系。

误差函数

设定误差函数：
现在用一个公式计算输出和真实值间的误差：$$loss=(f(x)-y{)}^2=(wx-y{)}^2$$
当然数据是有很多的，要计算所有数据真实值和输出之间的误差和并计算出平均值，这个函数为均方误差函数，也是线性回归模型的损
失函数。
$$J(x)=\frac{1}{2m}\sum _{i=1}^m(f(x_i)-y_i{)}^2$$
注：分母那个2是为了与之后求导得出的2消掉。

最小二乘法

最小二乘法向量形式及求解

对其求解的最优解：
$$f(\mathbf{X})=\mathbf{Xw}$$
很显然𝒙和𝒘都是一个矩阵，利用最小二乘法对这个矩阵求最优的𝒘矩阵参数。
计算的步骤如下所示：
$$\begin{gathered} J(w)=\frac{1}{2}(f(X)-Y{)}^2 \\ =\frac{1}{2}(Xw-Y{)}^2 \\ =\frac{1}{2}(Xw-Y{)}^{\top }(Xw-Y) \\ =\frac{1}{2}(w^{\top }{X}^{\top }-Y^{\top })(Xw-Y) \\ =\frac{1}{2}(w^{\top }{X}^{\top }Xw-Y^{\top }Xw-w^{\top }{X}^{\top }Y+Y^{\top }Y) \end{gathered}$$

如果矩阵不存在可逆矩阵，该方法就无法实现，所以可以采用梯度下降的方法。

跟之前学感知机里面的随机梯度下降一样，步伐不能过大。（实质就是不停更新w，随着轮数的增大使其逼近最小值。）
梯度下降法参数更新的计算公式就如下所示：
$$w=w-a\ast \frac{\partial J(w)}{\partial w}$$

实战代码:

#线性回归实战
#定义数据特征
x_data = [1,2,3]##每日学习时间

#定义数据标签
y_data = [2,4,6]##考试得分

#初始化参数w
w = 4

#定义线性回归模型
def forword(x):
    return x * w

#定义损失函数
def cost(xs,ys):
    costvalue=0
    for x,y in zip(xs,ys):
        y_pred = forword(x)
        costvalue += (y_pred - y)**2
    return costvalue / len(xs)

#定义梯度计算公式
def gradient(xs,ys):
    gradientvalue=0
    for x,y in zip(xs,ys):
        gradientvalue += 2* x * (x*w-y) #对w求导
    return gradientvalue / len(xs)

for epoch in range(100):
    #计算误差损失:
    cost_val = cost(x_data,y_data)

    gradient_val = gradient(x_data,y_data)#计算平均梯度
    w =w -0.01 * gradient_val
    print('训练轮次',epoch,"w=",w,"loss",cost_val)

print("100轮训练后w已经训练好了，此时我们用训练好的w进行推理.学习时间为4个小时的时候最终的得分为",forword(4))

实验结果: