剪枝 (pruning)是决策树学习算法对付 过拟合 的主要手段。在决策树学习中，为了尽可能正确分类训练样本，结点划分过程将不断重复，有时会造成决策树分支过多，这时就可能因训练样本学得"太好"了，以致于把训练集自身的一些特点当作所有数据都具有的一般性质而导致过拟合。因此，可通过主动去掉一些分支来降低过拟合的风险。

一般我们使用MAE 和 RMSE 这两个指标MAE、RMSE的优点①都能反映出预测值和真实值之间的误差②MAE反应的是“真实”的平均误差，RMSE会将误差大的数据点放大MAE、RMSE的缺点③MAE 不能体现出误差大的数据点，RMSE虽然会加放大大误差的数据点对指标的影响， 但是对异常数据比较敏感常用的回归问题的评估方法①MAE, MSE 和 RMSE②R² 与 Adjusted R²MAE, M

线性回归(Linear regression)是利用 回归方程(函数) 对 一个或多个自变量(特征值)和因变量(目标值)之间 关系进行建模的一种分析方式。特点：只有一个自变量的情况称为单变量回归，多于一个自变量情况的叫做多元回归。通用公式 ：其中w，x可以理解为矩阵：线性回归用矩阵表示举例：写成矩阵形式：从列的角度看：那么怎么理解呢？我们来看几个例子①期末成绩：0.7×考试成绩+0.3×平时成绩。

一般我们使用MAE 和 RMSE 这两个指标MAE、RMSE的优点①都能反映出预测值和真实值之间的误差②MAE反应的是“真实”的平均误差，RMSE会将误差大的数据点放大MAE、RMSE的缺点③MAE 不能体现出误差大的数据点，RMSE虽然会加放大大误差的数据点对指标的影响， 但是对异常数据比较敏感常用的回归问题的评估方法①MAE, MSE 和 RMSE②R² 与 Adjusted R²MAE, M

from sklearn.datasets import load_iris # 导入数据集包from sklearn.model_selection import train_test_split #划分数据集的包from sklearn.preprocessing import StandardScaler # 数据标准化的包from sklearn.neighbors import KNei

一般我们使用MAE 和 RMSE 这两个指标MAE、RMSE的优点①都能反映出预测值和真实值之间的误差②MAE反应的是“真实”的平均误差，RMSE会将误差大的数据点放大MAE、RMSE的缺点③MAE 不能体现出误差大的数据点，RMSE虽然会加放大大误差的数据点对指标的影响， 但是对异常数据比较敏感常用的回归问题的评估方法①MAE, MSE 和 RMSE②R² 与 Adjusted R²MAE, M

一般我们使用MAE 和 RMSE 这两个指标MAE、RMSE的优点①都能反映出预测值和真实值之间的误差②MAE反应的是“真实”的平均误差，RMSE会将误差大的数据点放大MAE、RMSE的缺点③MAE 不能体现出误差大的数据点，RMSE虽然会加放大大误差的数据点对指标的影响， 但是对异常数据比较敏感常用的回归问题的评估方法①MAE, MSE 和 RMSE②R² 与 Adjusted R²MAE, M