机器学习（2）-项目 1: 预测波士顿房价
机器学习模型评价与验证项目 1: 预测波士顿房价欢迎来到机器学习工程师纳米学位的第一个项目！在此文件中，有些示例代码已经提供给你，但你还需要实现更多的功能来让项目成功运行。除非有明确要求，你无须修改任何已给出的代码。以编程练习开始的标题表示接下来的内容中有需要你必须实现的功能。每一部分都会有详细的指导，需要实现的部分也会在注释中以TODO标出。请仔细阅读所有的提示！
机器学习
模型评价与验证
项目 1: 预测波士顿房价
欢迎来到机器学习工程师纳米学位的第一个项目！在此文件中，有些示例代码已经提供给你，但你还需要实现更多的功能来让项目成功运行。除非有明确要求，你无须修改任何已给出的代码。以编程练习开始的标题表示接下来的内容中有需要你必须实现的功能。每一部分都会有详细的指导，需要实现的部分也会在注释中以TODO标出。请仔细阅读所有的提示！
除了实现代码外，你还必须回答一些与项目和实现有关的问题。每一个需要你回答的问题都会以‘问题 X’为标题。请仔细阅读每个问题，并且在问题后的‘回答’文字框中写出完整的答案。你的项目将会根据你对问题的回答和撰写代码所实现的功能来进行评分。
提示：**Code 和 Markdown 区域可通过 **Shift + Enter 快捷键运行。此外，Markdown可以通过双击进入编辑模式。
第一步. 导入数据
在这个项目中，你将利用马萨诸塞州波士顿郊区的房屋信息数据训练和测试一个模型，并对模型的性能和预测能力进行测试。通过该数据训练后的好的模型可以被用来对房屋做特定预测—尤其是对房屋的价值。对于房地产经纪等人的日常工作来说，这样的预测模型被证明非常有价值。
此项目的数据集来自UCI机器学习知识库(数据集已下线)。波士顿房屋这些数据于1978年开始统计，共506个数据点，涵盖了麻省波士顿不同郊区房屋14种特征的信息。本项目对原始数据集做了以下处理：
- 有16个'MEDV' 值为50.0的数据点被移除。 这很可能是由于这些数据点包含遗失或看不到的值。
- 有1个数据点的 'RM' 值为8.78. 这是一个异常值，已经被移除。
- 对于本项目，房屋的'RM'， 'LSTAT'，'PTRATIO'以及'MEDV'特征是必要的，其余不相关特征已经被移除。
- 'MEDV'特征的值已经过必要的数学转换，可以反映35年来市场的通货膨胀效应。
运行下面区域的代码以载入波士顿房屋数据集，以及一些此项目所需的Python库。如果成功返回数据集的大小，表示数据集已载入成功。
# 载入此项目所需要的库
import numpy as np
import pandas as pd
import visuals as vs # Supplementary code
# 检查你的Python版本
from sys import version_info
if version_info.major != 2 and version_info.minor != 7:
raise Exception('请使用Python 2.7来完成此项目')
# 让结果在notebook中显示
%matplotlib inline# 载入波士顿房屋的数据集
data = pd.read_csv('housing.csv')
prices = data['MEDV']
features = data.drop('MEDV', axis = 1)
# 完成
print "Boston housing dataset has {} data points with {} variables each.".format(*data.shape)Boston housing dataset has 489 data points with 4 variables each.
第二步. 分析数据
在项目的第一个部分，你会对波士顿房地产数据进行初步的观察并给出你的分析。通过对数据的探索来熟悉数据可以让你更好地理解和解释你的结果。
由于这个项目的最终目标是建立一个预测房屋价值的模型，我们需要将数据集分为特征(features)和目标变量(target variable)。
- 特征
'RM'，'LSTAT'，和'PTRATIO'，给我们提供了每个数据点的数量相关的信息。 - 目标变量：
'MEDV'，是我们希望预测的变量。
他们分别被存在features和prices两个变量名中。
编程练习 1：基础统计运算
你的第一个编程练习是计算有关波士顿房价的描述统计数据。我们已为你导入了numpy，你需要使用这个库来执行必要的计算。这些统计数据对于分析模型的预测结果非常重要的。
在下面的代码中，你要做的是：
- 计算
prices中的'MEDV'的最小值、最大值、均值、中值和标准差； - 将运算结果储存在相应的变量中。
#DONE 1
#目标：计算价值的最小值
minimum_price = min(prices)
#目标：计算价值的最大值
maximum_price = max(prices)
#目标：计算价值的平均值
mean_price = np.mean(prices)
#目标：计算价值的中值
median_price = np.median(prices)
#目标：计算价值的标准差
std_price =np.std(prices)
#目标：输出计算的结果
print "Statistics for Boston housing dataset:\n"
print "Minimum price: ${:,.2f}".format(minimum_price)
print "Maximum price: ${:,.2f}".format(maximum_price)
print "Mean price: ${:,.2f}".format(mean_price)
print "Median price ${:,.2f}".format(median_price)
print "Standard deviation of prices: ${:,.2f}".format(std_price)Statistics for Boston housing dataset:
Minimum price: $105,000.00
Maximum price: $1,024,800.00
Mean price: $454,342.94
Median price $438,900.00
Standard deviation of prices: $165,171.13
问题 1 - 特征观察
如前文所述，本项目中我们关注的是其中三个值:'RM'、'LSTAT' 和'PTRATIO'，对每一个数据点:
'RM'是该地区中每个房屋的平均房间数量；'LSTAT'是指该地区有多少百分比的房东属于是低收入阶层（有工作但收入微薄）；'PTRATIO'是该地区的中学和小学里，学生和老师的数目比（学生/老师）。
凭直觉，上述三个特征中对每一个来说，你认为增大该特征的数值，'MEDV'的值会是增大还是减小呢？每一个答案都需要你给出理由。
提示：你预期一个'RM' 值是6的房屋跟'RM' 值是7的房屋相比，价值更高还是更低呢？
问题 1 - 回答：
- RM：该值增加，MEDV也会增加。因为随着房屋数量的增加，相对房屋价格应该会减小。
- LSTAT：该值增加，MEDV会减小。因为低收入者多的地方，他们居住的地区房屋价格会低一些。
- PTRATIO：该值增加，MEDV会减小。因为师生数量比表明了一个地方教育发展状况，比值越大，说明该地区缺老师，教育状况较差，因此该地区房价也会低。
编程练习 2: 数据分割与重排
接下来，你需要把波士顿房屋数据集分成训练和测试两个子集。通常在这个过程中，数据也会被重排列，以消除数据集中由于顺序而产生的偏差。
在下面的代码中，你需要
使用 sklearn.model_selection 中的 train_test_split， 将features和prices的数据都分成用于训练的数据子集和用于测试的数据子集。
- 分割比例为：80%的数据用于训练，20%用于测试；
- 选定一个数值以设定 train_test_split 中的 random_state ，这会确保结果的一致性；
# DONE 2
# 提示： 导入train_test_split
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(features,prices,test_size=0.2,random_state=10)问题 2 - 训练及测试
将数据集按一定比例分为训练用的数据集和测试用的数据集对学习算法有什么好处？
如果用模型已经见过的数据，例如部分训练集数据进行测试，又有什么坏处？
提示： 如果没有数据来对模型进行测试，会出现什么问题？
问题 2 - 回答:
- 将数据集分成训练集和测试集的好处：既可以用于训练又可以用于测试，而且不会相互干扰，而且可以对训练模型进行有效的验证。
- 用部分训练集进行测试的坏处：模型就是根据训练集得出的，使用训练集进行测试肯定会得出较好的结果，这不能判断训练模型的优劣。
第三步. 模型衡量标准
在项目的第三步中，你需要了解必要的工具和技巧来让你的模型进行预测。用这些工具和技巧对每一个模型的表现做精确的衡量可以极大地增强你预测的信心。
编程练习3：定义衡量标准
如果不能对模型的训练和测试的表现进行量化地评估，我们就很难衡量模型的好坏。通常我们会定义一些衡量标准，这些标准可以通过对某些误差或者拟合程度的计算来得到。在这个项目中，你将通过运算决定系数 R2 来量化模型的表现。模型的决定系数是回归分析中十分常用的统计信息，经常被当作衡量模型预测能力好坏的标准。
R2的数值范围从0至1，表示目标变量的预测值和实际值之间的相关程度平方的百分比。一个模型的R2 值为0还不如直接用平均值来预测效果好；而一个R2 值为1的模型则可以对目标变量进行完美的预测。从0至1之间的数值，则表示该模型中目标变量中有百分之多少能够用特征来解释。模型也可能出现负值的R2，这种情况下模型所做预测有时会比直接计算目标变量的平均值差很多。
在下方代码的 performance_metric 函数中，你要实现：
- 使用
sklearn.metrics中的r2_score来计算y_true和y_predict的R2值，作为对其表现的评判。 - 将他们的表现评分储存到
score变量中。
或
- (可选) 不使用任何外部库，参考决定系数的定义进行计算，这也可以帮助你更好的理解决定系数在什么情况下等于0或等于1。
# DONE 3
# 提示： 导入r2_score
def performance_metric(y_true, y_predict):
"""计算并返回预测值相比于预测值的分数"""
from sklearn.metrics import r2_score
score = r2_score(y_true, y_predict)
return score# DONE 3 可选
# 不允许导入任何计算决定系数的库
def performance_metric2(y_true, y_predict):
"""计算并返回预测值相比于预测值的分数"""
y_mean = float(sum(y_true))/len(y_true)
temp01 = [(each-y_mean)*(each-y_mean) for each in y_true]
sstot = sum(temp01)
temp02 = [(a-b)*(a-b) for a,b in zip(y_true, y_predict)]
ssres = sum(temp02)
score = 1 - float(ssres)/sstot
return score问题 3 - 拟合程度
假设一个数据集有五个数据且一个模型做出下列目标变量的预测：
| 真实数值 | 预测数值 |
|---|---|
| 3.0 | 2.5 |
| -0.5 | 0.0 |
| 2.0 | 2.1 |
| 7.0 | 7.8 |
| 4.2 | 5.3 |
你觉得这个模型已成功地描述了目标变量的变化吗？如果成功，请解释为什么，如果没有，也请给出原因。
提示：运行下方的代码，使用performance_metric函数来计算模型的决定系数。
# 计算这个模型的预测结果的决定系数
score = performance_metric2([3, -0.5, 2, 7, 4.2], [2.5, 0.0, 2.1, 7.8, 5.3])
print "Model has a coefficient of determination, R^2, of {:.3f}.".format(score)Model has a coefficient of determination, R^2, of 0.923.
问题 3 - 回答:
根据得出的R2分数来看，该模型比较好的描述了目标变量的变化。因为R2=0.923。
第四步. 分析模型的表现
在项目的第四步，我们来看一下不同参数下，模型在训练集和验证集上的表现。这里，我们专注于一个特定的算法（带剪枝的决策树，但这并不是这个项目的重点），和这个算法的一个参数 'max_depth'。用全部训练集训练，选择不同'max_depth' 参数，观察这一参数的变化如何影响模型的表现。画出模型的表现来对于分析过程十分有益，这可以让我们看到一些单看结果看不到的行为。
学习曲线
下方区域内的代码会输出四幅图像，它们是一个决策树模型在不同最大深度下的表现。每一条曲线都直观得显示了随着训练数据量的增加，模型学习曲线的在训练集评分和验证集评分的变化，评分使用决定系数R2。曲线的阴影区域代表的是该曲线的不确定性（用标准差衡量）。
运行下方区域中的代码，并利用输出的图形回答下面的问题。
# 根据不同的训练集大小，和最大深度，生成学习曲线
vs.ModelLearning(X_train, y_train)
问题 4 - 学习曲线
选择上述图像中的其中一个，并给出其最大深度。随着训练数据量的增加，训练集曲线的评分有怎样的变化？验证集曲线呢？如果有更多的训练数据，是否能有效提升模型的表现呢？
提示：学习曲线的评分是否最终会收敛到特定的值？
问题 4 - 回答:
最大深度为3时，随着训练数据的增加，训练集曲线的评分趋于稳定大约为0.8，验证集的评分也趋于稳定在接近0.8的附近。很显然训练集数据评分趋于稳定，再增加训练数据不能提升模型的表现。
复杂度曲线
下列代码内的区域会输出一幅图像，它展示了一个已经经过训练和验证的决策树模型在不同最大深度条件下的表现。这个图形将包含两条曲线，一个是训练集的变化，一个是验证集的变化。跟学习曲线相似，阴影区域代表该曲线的不确定性，模型训练和测试部分的评分都用的 performance_metric 函数。
运行下方区域中的代码，并利用输出的图形并回答下面的两个问题。
# 根据不同的最大深度参数，生成复杂度曲线
vs.ModelComplexity(X_train, y_train)
问题 5 - 偏差（bias）与方差（variance）之间的权衡取舍
当模型以最大深度 1训练时，模型的预测是出现很大的偏差还是出现了很大的方差？当模型以最大深度10训练时，情形又如何呢？图形中的哪些特征能够支持你的结论？
提示： 你如何得知模型是否出现了偏差很大或者方差很大的问题？
问题 5 - 回答:
- 模型以最大深度为1训练时，模型的预测出现了较大的偏差，因为R2分数较低，说明属于欠拟合。
- 模型以最大深度为10训练时，模型的预测出现了较大的方差，因为训练集的分数和测试集的分数相差较大。图像中，随着深度的增加，红色和绿色线条之间的距离越来越大。
问题 6- 最优模型的猜测
结合问题 5 中的图，你认为最大深度是多少的模型能够最好地对未见过的数据进行预测？你得出这个答案的依据是什么？
问题 6 - 回答:
深度为3时，模型能够较好的对未见过的数据进行预测。因为在深度为3时，测试集的分数基本达到最高，而且测试集与训练集之间的分数差异最小。
第五步. 选择最优参数
问题 7- 网格搜索（Grid Search）
什么是网格搜索法？如何用它来优化模型？
问题 7 - 回答:
根据给定的模型自动进行交叉验证，通过调节每一个参数来跟踪评分结果.
参数是通过for循环的方式进行组合的，从而实现跟踪每一组参数进行评分结果。
问题 8 - 交叉验证
- 什么是K折交叉验证法（k-fold cross-validation）？
- GridSearchCV是如何结合交叉验证来完成对最佳参数组合的选择的？
- GridSearchCV中的
'cv_results_'属性能告诉我们什么？ - 网格搜索时如果不使用交叉验证会有什么问题？交叉验证又是如何解决这个问题的？
提示： 在下面 fit_model函数最后加入 print pd.DataFrame(grid.cv_results_) 可以帮你查看更多信息。
问题 8 - 回答：
- 将训练集数据分成K份，取其中一份作测试集，余下的k-1份作为训练数据，得出k个测试分数求平均值。
- 对于一组参数，首先调节其中一个影响最大的参数，直到调节为最优，然后再调节第二个参数到最优。从而选择一组最佳参数组合。而其通过调节其cv参数来实现与较差验证来实现最佳参数的选择。
- 交叉验证的结果。
- 如果不结合交叉验证的话，要自己实现不同的验证组合方式。
编程练习 4：训练最优模型
在这个练习中，你将需要将所学到的内容整合，使用决策树算法训练一个模型。为了得出的是一个最优模型，你需要使用网格搜索法训练模型，以找到最佳的 'max_depth' 参数。你可以把'max_depth' 参数理解为决策树算法在做出预测前，允许其对数据提出问题的数量。决策树是监督学习算法中的一种。
在下方 fit_model 函数中，你需要做的是：
- 定义
'cross_validator'变量: 使用sklearn.model_selection中的KFold创建一个交叉验证生成器对象; - 定义
'regressor'变量: 使用sklearn.tree中的DecisionTreeRegressor创建一个决策树的回归函数; - 定义
'params'变量: 为'max_depth'参数创造一个字典，它的值是从1至10的数组; - 定义
'scoring_fnc'变量: 使用sklearn.metrics中的make_scorer创建一个评分函数；
将‘performance_metric’作为参数传至这个函数中； - 定义
'grid'变量: 使用sklearn.model_selection中的GridSearchCV创建一个网格搜索对象；将变量'regressor','params','scoring_fnc'和'cross_validator'作为参数传至这个对象构造函数中；
如果你对python函数的默认参数定义和传递不熟悉，可以参考这个MIT课程的视频。
# DONE 4
#提示: 导入 'KFold' 'DecisionTreeRegressor' 'make_scorer' 'GridSearchCV'
from sklearn.model_selection import KFold
from sklearn.tree import DecisionTreeRegressor
from sklearn.metrics import fbeta_score, make_scorer
from sklearn.model_selection import GridSearchCV
def fit_model(X, y):
""" 基于输入数据 [X,y]，利于网格搜索找到最优的决策树模型"""
cross_validator = KFold(10)
regressor = DecisionTreeRegressor(random_state=10)
params = {"max_depth":range(1,11)}
scoring_fnc = make_scorer(performance_metric)
grid = GridSearchCV(regressor,params,scoring_fnc,cv=cross_validator)
# 基于输入数据 [X,y]，进行网格搜索
grid = grid.fit(X, y)
print pd.DataFrame(grid.cv_results_)
# 返回网格搜索后的最优模型
return grid.best_estimator_编程练习 4：训练最优模型 （可选）
在这个练习中，你将需要将所学到的内容整合，使用决策树算法训练一个模型。为了得出的是一个最优模型，你需要使用网格搜索法训练模型，以找到最佳的 'max_depth' 参数。你可以把'max_depth' 参数理解为决策树算法在做出预测前，允许其对数据提出问题的数量。决策树是监督学习算法中的一种。
在下方 fit_model 函数中，你需要做的是：
- 遍历参数
‘max_depth’的可选值 1～10，构造对应模型 - 计算当前模型的交叉验证分数
- 返回最优交叉验证分数对应的模型
# TODO 4 可选
'''
不允许使用 DecisionTreeRegressor 以外的任何 sklearn 库
提示: 你可能需要实现下面的 cross_val_score 函数
def cross_val_score(estimator, X, y, scoring = performance_metric, cv=3):
""" 返回每组交叉验证的模型分数的数组 """
scores = [0,0,0]
return scores
'''
from sklearn.tree import DecisionTreeRegressor
def cross_val_score(estimator, X, y, scoring = performance_metric, cv=3):
""" 返回每组交叉验证的模型分数的数组 """
scores = [0,0,0]
return scores
def fit_model2(X, y):
""" 基于输入数据 [X,y]，利于网格搜索找到最优的决策树模型"""
#最优交叉验证分数对应的最优模型
best_estimator = None
return best_estimator问题 9 - 最优模型
最优模型的最大深度（maximum depth）是多少？此答案与你在问题 6所做的猜测是否相同？
运行下方区域内的代码，将决策树回归函数代入训练数据的集合，以得到最优化的模型。
# 基于训练数据，获得最优模型
optimal_reg = fit_model(X_train, y_train)
# 输出最优模型的 'max_depth' 参数
print "Parameter 'max_depth' is {} for the optimal model.".format(optimal_reg.get_params()['max_depth']) mean_fit_time mean_score_time mean_test_score mean_train_score \
0 0.0017 0.0017 0.304480 0.474975
1 0.0033 0.0008 0.620857 0.734436
2 0.0082 0.0001 0.760036 0.835104
3 0.0000 0.0000 0.806293 0.880424
4 0.0050 0.0000 0.794307 0.904100
5 0.0031 0.0002 0.765178 0.926334
6 0.0031 0.0018 0.761738 0.948252
7 0.0051 0.0001 0.732469 0.965117
8 0.0020 0.0000 0.729727 0.976687
9 0.0048 0.0018 0.714948 0.984615
param_max_depth params rank_test_score split0_test_score \
0 1 {u'max_depth': 1} 10 0.525988
1 2 {u'max_depth': 2} 9 0.786541
2 3 {u'max_depth': 3} 5 0.770443
3 4 {u'max_depth': 4} 1 0.829948
4 5 {u'max_depth': 5} 2 0.821762
5 6 {u'max_depth': 6} 3 0.835593
6 7 {u'max_depth': 7} 4 0.820650
7 8 {u'max_depth': 8} 6 0.804387
8 9 {u'max_depth': 9} 7 0.809427
9 10 {u'max_depth': 10} 8 0.785489
split0_train_score split1_test_score ... split7_test_score \
0 0.457268 0.349333 ... 0.329790
1 0.725960 0.604395 ... 0.672211
2 0.828001 0.786088 ... 0.811325
3 0.876020 0.871074 ... 0.854244
4 0.902394 0.851075 ... 0.865682
5 0.930308 0.831729 ... 0.849007
6 0.949599 0.835637 ... 0.830177
7 0.967323 0.810349 ... 0.815020
8 0.979306 0.772509 ... 0.810375
9 0.987224 0.755954 ... 0.808985
split7_train_score split8_test_score split8_train_score \
0 0.474655 0.269650 0.472485
1 0.730567 0.615483 0.731981
2 0.826196 0.768911 0.827548
3 0.876846 0.789315 0.880421
4 0.902918 0.747072 0.899311
5 0.923385 0.748200 0.922025
6 0.948345 0.737955 0.940188
7 0.961015 0.743733 0.954969
8 0.971953 0.763018 0.967056
9 0.980708 0.777551 0.980008
split9_test_score split9_train_score std_fit_time std_score_time \
0 -0.172605 0.508764 0.004473 0.004776
1 0.268775 0.755132 0.004584 0.001166
2 0.562898 0.840445 0.008256 0.000300
3 0.584205 0.892510 0.000000 0.000000
4 0.688520 0.913666 0.007043 0.000000
5 0.432875 0.931603 0.006204 0.000600
6 0.520223 0.948886 0.006204 0.004771
7 0.320056 0.965436 0.007880 0.000300
8 0.426293 0.975051 0.004817 0.000000
9 0.304936 0.983318 0.007346 0.004771
std_test_score std_train_score
0 0.173980 0.012622
1 0.129844 0.008525
2 0.072373 0.006231
3 0.081759 0.005475
4 0.063420 0.004199
5 0.121324 0.003388
6 0.101179 0.003276
7 0.147997 0.004304
8 0.124976 0.004141
9 0.147889 0.003080
[10 rows x 31 columns]
Parameter 'max_depth' is 4 for the optimal model.
问题 9 - 回答：
深度为4，
与6中回答的基本一致
第六步. 做出预测
当我们用数据训练出一个模型，它现在就可用于对新的数据进行预测。在决策树回归函数中，模型已经学会对新输入的数据提问，并返回对目标变量的预测值。你可以用这个预测来获取数据未知目标变量的信息，这些数据必须是不包含在训练数据之内的。
问题 10 - 预测销售价格
想像你是一个在波士顿地区的房屋经纪人，并期待使用此模型以帮助你的客户评估他们想出售的房屋。你已经从你的三个客户收集到以下的资讯:
| 特征 | 客戶 1 | 客戶 2 | 客戶 3 |
|---|---|---|---|
| 房屋内房间总数 | 5 间房间 | 4 间房间 | 8 间房间 |
| 社区贫困指数（％被认为是贫困阶层） | 17% | 32% | 3% |
| 邻近学校的学生-老师比例 | 15：1 | 22：1 | 12：1 |
你会建议每位客户的房屋销售的价格为多少？从房屋特征的数值判断，这样的价格合理吗？为什么？
提示：用你在分析数据部分计算出来的统计信息来帮助你证明你的答案。
运行下列的代码区域，使用你优化的模型来为每位客户的房屋价值做出预测。
# 生成三个客户的数据
client_data = [[5, 17, 15], # 客户 1
[4, 32, 22], # 客户 2
[8, 3, 12]] # 客户 3
# 进行预测
predicted_price = optimal_reg.predict(client_data)
for i, price in enumerate(predicted_price):
print "Predicted selling price for Client {}'s home: ${:,.2f}".format(i+1, price)Predicted selling price for Client 1's home: $406,933.33
Predicted selling price for Client 2's home: $232,200.00
Predicted selling price for Client 3's home: $938,053.85
问题 10 - 回答：
Client 1’s home: $406,933.33
Client 2’s home: $232,200.00
Client 3’s home: 938,053.85
合理，房价的均值为 454,342.94，这里计算的均值为约 525,000，相差不大；并且处在实际房价的最大值( 1,024,800.00)和最小值( 105,000.00)之间。因此比较合理。
编程练习 5
你刚刚预测了三个客户的房子的售价。在这个练习中，你将用你的最优模型在整个测试数据上进行预测, 并计算相对于目标变量的决定系数 R2的值**。
#TODO 5
# 提示：你可能需要用到 X_test, y_test, optimal_reg, performance_metric
# 提示：你可能需要参考问题10的代码进行预测
# 提示：你可能需要参考问题3的代码来计算R^2的值
predicted = optimal_reg.predict(X_test)
r2 = performance_metric(y_test,predicted)
print "Optimal model has R^2 score {:,.2f} on test data".format(r2)Optimal model has R^2 score 0.75 on test data
问题11 - 分析决定系数
你刚刚计算了最优模型在测试集上的决定系数，你会如何评价这个结果？
问题11 - 回答
仅仅有0.75的测试结果，说明以上的最优模型基本符合要求。
模型健壮性
一个最优的模型不一定是一个健壮模型。有的时候模型会过于复杂或者过于简单，以致于难以泛化新增添的数据；有的时候模型采用的学习算法并不适用于特定的数据结构；有的时候样本本身可能有太多噪点或样本过少，使得模型无法准确地预测目标变量。这些情况下我们会说模型是欠拟合的。
问题 12 - 模型健壮性
模型是否足够健壮来保证预测的一致性？
提示: 执行下方区域中的代码，采用不同的训练和测试集执行 fit_model 函数10次。注意观察对一个特定的客户来说，预测是如何随训练数据的变化而变化的。
# 请先注释掉 fit_model 函数里的所有 print 语句
vs.PredictTrials(features, prices, fit_model, client_data)Trial 1: $391,183.33
Trial 2: $411,417.39
Trial 3: $415,800.00
Trial 4: $420,622.22
Trial 5: $423,300.00
Trial 6: $411,931.58
Trial 7: $399,663.16
Trial 8: $407,232.00
Trial 9: $402,531.82
Trial 10: $413,700.00
Range in prices: $32,116.67
问题 12 - 回答：
健壮，因为10次预测的结果差异都在400万左右。
问题 13 - 实用性探讨
简单地讨论一下你建构的模型能否在现实世界中使用？
提示：回答以下几个问题，并给出相应结论的理由：
- 1978年所采集的数据，在已考虑通货膨胀的前提下，在今天是否仍然适用？
- 数据中呈现的特征是否足够描述一个房屋？
- 在波士顿这样的大都市采集的数据，能否应用在其它乡镇地区？
- 你觉得仅仅凭房屋所在社区的环境来判断房屋价值合理吗？
问题 13 - 回答：
1,不适用，因为相关的政策医疗，地区的发展状况都发生了变化。
2，不能，房屋的价格还和设计、外观、新旧程度等相关。
3，不能，不同的地区人们对待房屋价格的考量因素不同。
4，不合理，因为房屋的价格跟房屋的质量，房屋的新旧程度，房屋的装修程度有关系。
CSDN联合极客时间，共同打造面向开发者的精品内容学习社区，助力成长！
更多推荐
19
0- 0
已为社区贡献1条内容
所有评论(0)