1.线性模型

试图学得一个通过属性的线性组合来进行预测的函数：

2.线性回归

定义：线性回归通过一个或者多个自变量与因变量之间之间进行建模的回归分析。其中特点为一个或多个称为回归系数的模型参数的线性组合

一元线性回归：涉及到的变量只有一个
多元线性回归：涉及到的变量两个或两个以上

3.损失函数(误差大小)

3.1最小二乘法之梯度下降

3.1.1梯度下降API

sklearn.linear_model.SGDRegressor

4.回归性能评估

(均方误差(Mean Squared Error)MSE) 评价机制：

4.1sklearn回归评估API

sklearn.metrics.mean_squared_error

mean_squared_error(y_true, y_pred)
均方误差回归损失
y_true:真实值
y_pred:预测值
return:浮点数结果

5.过拟合与欠拟合

过拟合： 一个假设在训练数据上能够获得比其他假设更好的拟合， 但是在训练数据外的数据集上却不能很好地拟合数据，此时认为这个假设出现了过拟合的现象。(模型过于复杂)

欠拟合： 一个假设在训练数据上不能获得更好的拟合， 但是在训练数据外的数据集上也不能很好地拟合数据，此时认为这个假设出现了欠拟合的现象。(模型过于简单)

5.1欠拟合原因以及解决办法

原因：
学习到数据的特征过少

解决办法：
增加数据的特征数量

5.2过拟合原因以及解决办法

原因：
原始特征过多，存在一些嘈杂特征，
模型过于复杂是因为模型尝试去兼顾
各个测试数据点

解决办法：
进行特征选择，消除关联性大的特征(很难做)
交叉验证(让所有数据都有过训练)
正则化

L2正则化
作用：可以使得W的每个元素都很小，都接近于0
优点：越小的参数说明模型越简单，越简单的模型则越不
容易产生过拟合现象

6.带有正则化的线性回归-Ridge

sklearn.linear_model.Ridge

sklearn.linear_model.Ridge(alpha=1.0)
具有L2正则化的线性最小二乘法
alpha:正则化力度
coef_:回归系数