带有L2正则化的线性回归–岭回归

      岭回归，其实也是一种线性回归。只不过在算法建立回归方程时，加上正则化的限制，从而达到解决过拟合的而效果。

API

sklearn linear_model Ridge(alpha=1.0,fit_intercept=True,solver-"auto",normalize=False)

• 具有L2正则化的线性回归
• alpha：正则化力度，也叫λ，λ取值：$01$$110$
• solver：会根据数据自动选择优化方法，sag:如果数据集、特征都比较大，选择该随机梯度下降优化。
• normalize：数据是否进行标准化，normalize=False:可以在fit之前调用preprocessing.StandardScaler标准化数据。
• Ridge_coef：回归权重
• Ridge_intercept：回归偏置
  Ridge方法相当于SGDRegressor(penalty=‘l2’,loss=“squared_loss”),只不过SGDRegressor实现了一个普通的随机梯度下降学习，推荐使用Ridge（实现SAG）
  sklearn.linear_model RidgeCV(_BaseRidgeCV,RegressorMixin)
• 具有l2正则化的线性回归，可以及逆行交叉验证
• coef_：回归系数

观察正则化程度的变化，对结果的影响？

• 正则化力度越大，权重系数会越小
• 正则化力度越小，权重系数会越大
  

波士顿房价预测

（1）导入包

from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import mean_squared_error
from sklearn.linear_model import Ridge

（2）编写linear3()函数：

def linear3():
    '''
    岭回归的方法对波士顿房价进行预测
    :return:
    '''
    # 1.获取数据
    boston = load_boston()
    # 2.划分数据集
    x_train,x_test,y_train,y_test = train_test_split(boston.data, boston.target, random_state= 22)
    # 3.特征工程：标准化
    transfer = StandardScaler()
    x_train = transfer.fit_transform(x_train)
    x_test = transfer.transform(x_test)
    # 4.预估器流程
    estimator = Ridge(alpha=0.5,max_iter=10000)
    estimator.fit(x_train,y_train)
    # 5.得出模型
    print("岭回归权重系数为：\n",estimator.coef_)
    print("岭回归偏置为：\n",estimator.intercept_)
    # 6.评估模型
    y_predict = estimator.predict(x_test)
    #print("岭回归的y_predict为:\n", y_predict)
    error = mean_squared_error(y_test,y_predict)
    print("岭回归-均方误差为:\n",error)
    return None

（3）调用linear3()函数：

if __name__ == "__main__":
    # 代码1：正规方程的方法对波士顿房价进行预测
    linear1()
    # 代码2：梯度下降法对波士顿房价进行预测
    linear2()
    # 代码3：岭回归的方法对波士顿房价进行预测
    linear3()

（4）结果：