分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点和有向边组成。结点有两种类型：内部结点和叶节点。内部结点表示一个特征或属性，叶节点表示一个类。●熵可以表示一个系统的混乱程度，系统越混乱，熵值越高；反之，熵值越低。●1948年香农提出了”信息熵(Entropy)“的概念。●假设在当前的样本集合D中第k类样本所占的比例为pk(k=1,2,3,......,n)，,D表示样本的所有数量，为

在我们将学习的模型构造出来训练完以后，我们通常需要评估该模型的好坏。

归一化主要的作用是防止有些特征差值过大，这些特征对计算结果的影响最大，导致结果不准确，而我们普遍认为每个特征都应该是同等重要的。为了避免这种情况，我们通常采用的方法是将数据归一化，将任意取值范围的特征值转化为0到1区间内的值。输入13.2 3.3 2.2 18.4 97 1.78 0.83 0.6 1.88 10.5 0.54 1.5 672测试数据。该分类算法采用的是欧几里得算法，计算两点之间的

我们需要找出分类器中定义的w和b，为此我们要找到具有最小间隔的数据点，找到之后对该间隔最大化，就可以写作：​​​​​​对上述的式子直接求解非常困难，所以我们要将它转换成另一件更加容易求解的形式，如果令上述式子中min括号中的乘法都为1的话，那么就可以变成求||w||最小值来求最终解，但是事实并非如此，只有那些离超平面近的才为1，离超平面越远这个值也就越大。我们要求解d的最大化问题转化乘求||w||

在我们将学习的模型构造出来训练完以后，我们通常需要评估该模型的好坏。