决策树就是来对问题进行判断的过程，类似于我们人的脑回路的流程。以二分类问题为例，一个样本有很多个属性，我们依次对每个属性进行判断，只有这个属性满足正类的特征，我们才判断下一个属性，最后得出最终结论：这个样本是不是正类。一个决策树包含一个根节点，多个叶节点，多个内部节点。根节点包含样本全集，内节点对应一个属性测试，。决策树学习的目的就是为了产生一棵泛化能力强的决策树，我们希望用它来帮我们做决策。那么

神经网络通过模拟生物神经系统构建数学模型，核心是加权连接的神经元和激活函数（如Sigmoid）实现非线性变换。感知机作为线性二分类模型，通过误差反馈机制更新权重和阈值，解决逻辑运算问题。对于非线性问题，需引入含隐层的多层前馈网络，采用误差逆传播算法（BP）进行训练，结合累计误差优化和梯度下降调整参数。为防止过拟合，可采用早停策略和正则化方法。这些机制共同构成了神经网络学习复杂模式的基础框架。

让这个超平面容忍一些错误的分类，也就是在计算损失的时候，如果这个损失在一个区间内，那么我们就认为它是分类正确的。如果在这个区间外，那么我们就根据这个损失，反向传播去更新参数。有一个分类任务的样本集，我们想要在样本空间中找到一个划分超平面，把不同类别的样本分开。，让它不被训练样本里面的个别样本所干扰，这样子得到的分类结果的鲁棒性会是最好的，泛化能力最好。但如果不存在一个超平面，可以把训练样本正确分类