在构建过程中，决策树算法采用一定的指标来衡量特征的重要性，以选择最优的划分特征。其核心思想是针对训练集中被误分类的样本，构建一棵新的决策树来弥补前面的模型缺陷，新模型是基于原模型的残差进行学习的，即对误差做梯度下降来训练模型。整个过程中需要注意的是，每棵决策树的构建是基于前面已经构建好的决策树的残差进行的，因此它们之间是有关联的。需要注意的是，KNN算法对于输入数据的维度较为敏感，当数据维度较高时