导航简介AdaBoost.M1算法步骤Python应用举例AdaBoost.M1算法原理的进一步推导一 简介之前文章的思路是建立并列的一系列树构成“投票委员会”提高结果的准确性，集成学习的另一个策略是将一系列具有顺序相关的弱模型组成一个强模型，而不会有过拟合的问题。从弱模型到强模型的常见集成学习法有提升法（Boosting）和梯度提升树（Gradient Boosted Decision Tree

np.nan：Numpy在读入数据集以后数据会被会转为浮点类型（np.float64）；而字符型由于无法转化为浮点型，只能归并为object类型。：pd.NA是专门表示缺失值的标量，它代表空整数、空布尔值、空字符，这个功能目前处于实验阶段，因此它的行为仍可能会发生变化。它通常用于初始化变量、函数的默认返回值，或者作为占位符，表示某个变量或表达式暂时没有值。：是一个特殊的常量，用于表示缺失或不存在的

下图为4个输入变量时不同方法的测试误差变化情况，可以看出随着树数的增加，随机森林的误差最小。的缩写，在单个学习器（基于单个bootstrap样本构建的模型，这里是决策树，也可以是贝叶斯分类器，K-邻近等模型）具有高方差和低偏差时很有效。结果如下图所示，可以看出，当输入变量较多时，随着树数的增加，随机森林的优势逐渐显现，测试误差更低。：每个样本，每次抽样被抽到的概率为1/N，抽不到的概率为1-1/N

考虑这样一个药品筛选问题，大批患有同种疾病的不同病人，服用5种候选药后取得同样的效果，现有每个病人服药前的几项生理指标数据，要通过这些数据来得到选药的建议，即要根据任何一个此类病人的生理指标来得到最合适药物的建议，这就可以使用决策树方法，建立以药物为输出变量，以生理指标为输入变量的多分类预测模型。右侧图为一个典型的树深度等于4的决策树。每个椭圆为树的节点，有向箭头将各层节点连在一起构成树的分支，一

* *heachineearningoting泛化误差估计💠训练集：用于训练模型的数据集称为（training set），其中的样本观测称为“袋内观测”。💠训练误差：即经验误差，是基于训练集“袋内观测”建模并计算得到的模型误差。例如，回归中基于训练集（样本量为是基于“袋外观测”的误差，而非训练误差。训练误差作为泛化误差的估计，原因是：①未来的新数据集都是“袋外观测”（Out of Bag，OO

本文讲述bootstrap的原理，应用以及python实现

* * *The Machine Learning Noting Series* * *1. 支持向量回归的基本思路与优点ε-带与“管道”决定“管道”宽度的可调参数ε2. 支持向量回归的目标函数和约束条件目标函数约束条件3. python实现如上左图所示，支持向量机使用核函数给出一个弯曲多变的不规则超平面（中间的曲线即回归线）。这是一个复杂的模型，因其预测结果对训练集中数据的微小波动较为敏感，故预

* *heachineearningoting泛化误差估计💠训练集：用于训练模型的数据集称为（training set），其中的样本观测称为“袋内观测”。💠训练误差：即经验误差，是基于训练集“袋内观测”建模并计算得到的模型误差。例如，回归中基于训练集（样本量为是基于“袋外观测”的误差，而非训练误差。训练误差作为泛化误差的估计，原因是：①未来的新数据集都是“袋外观测”（Out of Bag，OO

* * *The Machine Learning Noting Series* * *1. 支持向量回归的基本思路与优点ε-带与“管道”决定“管道”宽度的可调参数ε2. 支持向量回归的目标函数和约束条件目标函数约束条件3. python实现如上左图所示，支持向量机使用核函数给出一个弯曲多变的不规则超平面（中间的曲线即回归线）。这是一个复杂的模型，因其预测结果对训练集中数据的微小波动较为敏感，故预

本文讲述bootstrap的原理，应用以及python实现