“特征提取决定模型上限，模型的选择就是不断接近这个上限。”在特征已经提取好的情况下，也选择好了机器学习模型算法，如何进一步提高模型的表现呢？Stacking方法就是一个可以帮助模型进一步提高的算法。类似于深度学习NNs，Stacking一般有两层机器学习模型，第一层机器学习模型群可以被看成NNs中的神经元，对原始的（处理好的）数据集进行训练，输出新的特征，给下一层的机器学习模型使用；第二层机器学习

集成算法（Emseble Learning） 是构建多个学习器，然后通过一定策略结合把它们来完成学习任务的，常常可以获得比单一学习显著优越的学习器。用于减少方差的bagging用于减少偏差的boosting代表：随机森林：取弱分类器的结果取平均。代表：GradientBoosting、AdaBoost、LogitBoost。思想：增加前一个基学习器在训练过程中预测错误样本的权重，使得后续基学习器更