在决策树排序过程中，可以根据基尼值和基尼系数增益来确定哪些特征需要先决策、哪些后决策，构建一棵最有的决策树。本文主要介绍了如果使用基尼系数增益来构建决策树，针对相同系数增益的特征可以随意选择一种特征，当特征选择完成之后，需要根据已经重新分类的特征重新计算基尼系数，最终基于所有特征完成决策树的构建。

熵的应用主要是在决策树方面，信息熵主要用于计算信息增益，信息增益的大小决定了再进行决策树构建时，哪些特征先决策。一般情况，选择信息增益的大的特征先决策，信息增益小的特征后决策.

随机森林是属于集成学习，其核心思想就是集成多个弱分类器以达到三个臭皮匠赛过诸葛亮的效果。随机森林采用Bagging的思想，所谓的Bagging就是：（1）每次有放回地从训练集中取出 n 个训练样本，组成新的训练集；（2）利用新的训练集，训练得到M个子模型；（3）对于分类问题，采用投票的方法，得票最多子模型的分类类别为最终的类别；对于回归问题，采用简单的平均方法得到预测值。

Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单。Flume最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写入到HDFS。