beautifulsoup4是Python数据包中专门用于数据解析的数据包，它能够匹配网页原码中的标签页，从而从网页中获得我们想要的数据，本章节我们来讲述bs4的一些简单的使用，以及如何使用bs4爬取网页上的小说。一.find方法的使用#首先我们打开一个text.html文档，打开的模式为只读模式，其编码为utf-8fp=open('./text.html','r',encoding='utf-8

我们往往需要采集大量的数据来进行分析，这些信息可以来源于网上，我们可以用爬虫的方法来获取到这些数据。这里我们创建了一段代码，用我们的百度搜索引擎来搜索我们想要的词条#这里我们导入request模块import requestsif __name__=="__main__":#这里我们指定我们的url，也就是我们的百度网址url='https://www.baidu.com'#这里我们使用input

需要修改配置文件，点击帮助中的编辑自定义vm选项。就是一直在加载，但是我的键盘无法输入参数。注意：不重启这些配置无法生效。然后就可以愉快地输入和读取了。在最后一行加入以下代码。.........

对于StandardScaler和MinMaxScaler来说，空值NaN会被当做是缺失值，在fit的时候忽略，在transform的时候保持缺失NaN的状态显示。并且，尽管去量纲化过程不是具体的算法，但在fit接口中，依然只允许导入至少二维数组，一维数组导入会报错。通常来说，我们输入的X会是我们的特征矩阵，现实案例中特征矩阵不太可能是一维所以不会存在这个问题。（通常来说我们现实输入的特征矩阵都是

集成学习（ensemble learning）是时下非常流行的机器学习算法，它本身不是一个单独的机器学习算法，而是通过在数据上构建多个模型，集成所有模型的建模结果。基本上所有的机器学习领域都可以看到集成学习的身影，在现实中集成学习也有相当大的作用，它可以用来做市场营销模拟的建模，统计客户来源，保留和流失，也可用来预测疾病的风险和病患者的易感性。在现在的各种算法竞赛中，随机森林，梯度提升树（GBDT

调整完毕，总结出模型的最佳参数score提升效果#调参后的参数减去调参前的参数在整个调参过程之中，我们首先调整了n_estimators（无论如何都请先走这一步），然后调整max_depth，通过max_depth产生的结果，来判断模型位于复杂度-泛化误差图像的哪一边，从而选择我们应该调整的参数和调参的方向。如果感到困惑，也可以画很多学习曲线来观察参数会如何影响我们的准确率，选取学习曲线中单调的部

splitter也是用来控制决策树中的随机选项的，有两种输入值，输入”best"，决策树在分枝时虽然随机，但是还是会优先选择更重要的特征进行分枝（重要性可以通过属性feature_importances_查看），输入“random"，决策树在分枝时会更加随机，树会因为含有更多的不必要信息而更深更大，并因这些不必要信息而降低对训练集的拟合。超参数的学习曲线，是一条以超参数的取值为横坐标，模型的度量指

将我们上面网格搜索的最优的参数带入，得到的打分跟我们上面网格搜索的打分是一样的。这时我们Sex列的数据就全部被转换成了0,1，男的是1，女的是0。数据集可以从下面的网盘中提取。*具有自动拆包的作用。

DecisionTreeRegressor回归树几乎所有参数，属性及接口都和分类树一模一样。需要注意的是，在回归树种，没有标签分布是否均衡的问题，因此没有class_weight这样的参数。由于我们的数据都是在我们的训练集上跑出来的，从而形成了我们的模型，但是我们知道数据集的划分都是随机的，我们怎么能够保证我们当前的模型在其他的数据集上跑出来的结果还是相似的呢？怎么才能知道我们当前模型的泛化性到底

需要修改配置文件，点击帮助中的编辑自定义vm选项。就是一直在加载，但是我的键盘无法输入参数。注意：不重启这些配置无法生效。然后就可以愉快地输入和读取了。在最后一行加入以下代码。.........