一、决策树根据一些 特征（feature ）进行分类，每个节点提一个问题，通过判断，将数据分为两类，再继续提问。判断的依据是信息熵增益，计算公式如下：其中的n代表有n个分类类别（比如假设是2类问题，那么n=2）。分别计算这2类样本在总样本中出现的概率p1和p2，这样就可以计算出未选中属性分枝前的信息熵。模型可以根据已有数据学习得到，再投入新数据的时候，就可以根据这棵树上的问题，...

在训练过程中，我们往往需要将数据集D 划分为训练集S和测试集T。在阅读了周志华老师的《机器学习》后，下面将介绍几种常见的做法：1.留出法指甲将数据集D 划分为两个互斥的的集合，其中一个集合作为训练集，另一个作为测试集，即D=S∪ T, S ∩ T = 空。...

做机器学习的过程中，难免会与矩阵打交道，而实对称矩阵更是其中常用的矩阵之一。所以，下面将介绍一下什么是实对称矩阵，并介绍一下它的几个性质（这也是很多笔试题中常考的点）定义：如果有n阶矩阵A，其矩阵的元素都为实数，且矩阵A的转置等于其本身（aij=aji）(i,j为元素的脚标)，则称A为实对称矩阵。主要性质：1.实对称矩阵A的不同特征值对应的特征向量是正交的（网易笔试题曾考过）。2....

由于新的神经网络架构无时无刻不在涌现，想要记录所有的神经网络是很困难的事情。要把所有这些缩略语指代的网络(DCIGN，IiLSTM，DCGAN等)都弄清，一开始估计还无从下手。下表包含了大部分常用的模型(大部分是神经网络还有一些其他的模型)。虽然这些架构都是新奇独特的，但当我开始把它们的结果画下来的时候，每种架构的底层关系就会清晰。显然这些节点图并不能显示各个模型的内部工作过程。例如变...