对于决策树的某个结点来说，对样本进行分类后可以使样本集尽可能有序，最大程度地降低样本数据的熵。决策树的关键是如何选择最优特征进行节点划分，目标是让划分后的子集尽可能 “纯净”（即同一子集内的数据类别尽量一致）。—— 通过对数据特征的层层判断，将复杂问题拆解为一系列简单的二元或多元判断，最终得出结论。对信息增益做了归一化修正，引入 “分裂信息”（衡量特征取值的均匀程度）。基于基尼不纯度（衡量数据被分

支持向量机（Support Vector Machine, SVM）是一种经典的监督学习模型，核心用于分类任务，也可通过改造用于回归（支持向量回归，SVR）。它的核心思想是：在特征空间中找到一个最优超平面，将不同类别的样本分开，且使两类样本到超平面的间隔最大化。标准化后，所有特征都转换为均值为0、方差为1的分布，这有助于提高模型的收敛速度和性能。SVM 在小样本、高维特征场景下表现优异，是机器学习

后剪枝的操作顺序是 从叶节点→内部节点→根节点，逐层向上检查每个子树是否需要剪枝，具体步骤如下：确定剪枝候选对象，遍历完整决策树的所有非叶节点（即内部节点），把每个内部节点及其下属的所有分支看作一个 “待剪枝子树”。1）如果 操作 B 的误差 ≤ 操作 A 的误差：说明剪掉该分支后，模型在验证集上的性能没有下降，甚至更好，此时执行剪枝（保留操作 B 的叶节点）。将该子树的根节点（内部节点）直接替换