而公式的前半部分代表着，预测值越大，也就是为1 的概率越大，说明预测对的可能性越大，损失越小。对于真实结果为 0 时， 那么公式的前半部分为就为 0 ，只需看公式的后半部分，预测值越大，代表为 1 的可能性越大，但真实为 0 ，说明预测错误的可能性越大， 对应的损失也就越大，这也是后面为什么用 1 减去预测值的原因。损失函数是在给模型打分，衡量真实值与预测值的差距，而训练模型的过程就是通过调整参数

现在在样本中第一个特征是有无房产，有房产的不拖欠，无房产的容易拖欠，这样就出现了第一个分支。熵用来描述混乱程度，越混乱熵越大。因为单纯考虑信息增益对于分类过于细的特征比如 学号 ，它的信息增益非常大，但作为决策树的节点显然是不妥当的。信息增益就是信息熵 - 条件熵，得到的结果能够反映该特征分类前后数据集混乱程度的变化。Gini系数的逻辑和熵差不多，当某一类的占比越大的时候（越接近1），也就是数据集

根据算法的数学模型不同，我们可以分类为线性与广义线性模型（线性回归、逻辑回归）、树模型（决策树、随机森林）等等，这其中也包括神经网络也就是深度学习。我一度去区分机器学习、深度学习、强化学习，而随着学习的深入，才发现这是一个完整的体系框架。3、强化学习：还是无标签数据，虽然没有正确答案，但加入奖励机制，让模型学习将奖励最大化，也就是做出正确决策。他们也是让机器去学习啊！2、无监督学习：学习无标签数据

在机器学习中，我们有两个常用的运算库（TensorFlow 和 Numpy），由于库的开发与发展历史的种种原因，他们有着不同的数据形式。用一个外层中括号表示数组，内层的中括号表示数据，每一个内层中括号表示一个数据，而内层中括号中数字的个数表示了数据维度的大小。再者就是数据维度的变换了，在数据训练的过程中，我们常见到对数据维度的变换。所以，当我们去处理数据的时候需要使用 Numpy ，而在模型训练的

有时我们的数据是有限的，这时我们可以采用数据增强（data augmention）的方式来增加数据。我们可以使用迁移学习的方式。比如，现在我们要解决一个图像分类任务，但是我们手头并没有足够的数据，我们可以用一个已经在大数据集上训练好的类似的图像分类模型作为我们的初始模型修改分类头后做训练，或者把它的部分甚至全部参数冻结，在修改的分类头上做训练。特征的引入可以增加信息的丰富度，提高模型的预测能力，同

在数据部分，我们迎来了第一个可以优化的点，原数据集是有很多特征的，但是不同的特征的影响差别是很大的，如果我们考虑了所有的特征，这也意味着我们加入了许多无关、冗余、甚至带有噪声的特征，会干扰模型的学习性能。然后以二维列表的形式读取原始数据ori_data，其中的ori_data[0]就是原始数据的第一行，即表头部分（所有列的名称），后面就是熟悉的操作，之前我们在手写线性模型中也写过的操作，通过删掉第

有时我们的数据是有限的，这时我们可以采用数据增强（data augmention）的方式来增加数据。我们可以使用迁移学习的方式。比如，现在我们要解决一个图像分类任务，但是我们手头并没有足够的数据，我们可以用一个已经在大数据集上训练好的类似的图像分类模型作为我们的初始模型修改分类头后做训练，或者把它的部分甚至全部参数冻结，在修改的分类头上做训练。特征的引入可以增加信息的丰富度，提高模型的预测能力，同

在机器学习中，我们有两个常用的运算库（TensorFlow 和 Numpy），由于库的开发与发展历史的种种原因，他们有着不同的数据形式。用一个外层中括号表示数组，内层的中括号表示数据，每一个内层中括号表示一个数据，而内层中括号中数字的个数表示了数据维度的大小。再者就是数据维度的变换了，在数据训练的过程中，我们常见到对数据维度的变换。所以，当我们去处理数据的时候需要使用 Numpy ，而在模型训练的

#include <stdio.h>using namespace std;typedef struct node { //注意typedef不能省略char data;struct node* lchild, * rchild;}*BitTree;//先序遍历的方式创建二叉树void CreatBitTree(BitTree& T) {char c;// 替换cin：用scanf读单个字符（前面