针对Boosting的基本介绍在我的这篇文章中详细介绍了https://blog.csdn.net/blank_tj/article/details/82229322简单总结Boosting：初始对每个样本分配相同的权重，每次经过分类，把对的结果的权重降低，错的结果权重增高，如此往复，直到阈值或者循环次数。梯度提升算法首先给定一个目标损失函数，它的定义域是所有可行的弱函数集合(基函数)；提...

熵关于信息量、信息熵可以参考我的这篇文章https://blog.csdn.net/blank_tj/article/details/82056413信息量：I(x)=−log2 p(x)I(x)=−log2 p(x)I(x) = - log_2\ p(x)我们把这个公式叫做信息量的公式，前面的负号确保了信息一定是正数或者是0(低概率事件带来高的信息量)。底..

随机森林：理解：多棵决策树（CART树）https://blog.csdn.net/blank_tj/article/details/82081002组合而成，分类问题：每棵树投票找最高票；回归问题：每棵树的值求和取平均。特点：随机森林基于Bagging https://blog.csdn.net/blank_tj/article/details/82229322，所以每次训练随机从总数据...