决策树是一种基于树形结构的机器学习模型，用于进行分类和回归任务。它通过一系列的决策节点和分支来对数据进行分类或预测。决策树的每个节点表示一个特征，每个分支表示该特征可能的取值，而每个叶子节点则表示一个类别（对于分类任务）或一个数值（对于回归任务）。在分类任务中，决策树通过对数据进行分裂，将其划分为不同的类别。在每个节点上，决策树根据某个特征的取值将数据分割成子集，然后递归地对每个子集进行进一步的分

主要思路为获取数据后，计算其欧氏距离，并根据每个点的距离进行排序，取出前k（前文选取k值为3）个点的类别（标签），对这k个点中，不同标签出现的次数进行排序，返回出现次数最多的标签，用该标签表示测试点的类别。给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的 k 个实例，这个实例的多数属于某个类，就把该输入实例分为这个类（概括为近朱者赤近墨者黑）KNN算法中k的选择影响着分类结果

X = np.hstack((np.ones((m, 1)), X)) # 添加偏置项X是一个m×n的特征矩阵，其中m是样本数量，n是特征数量。y是一个长度为m的标签向量。是梯度下降的学习率，控制每次参数更新的步长。iterations是迭代次数，指定梯度下降的更新次数。在函数内部，首先对输入特征矩阵X添加了偏置项，然后初始化参数θ为全零向量。接下来通过迭代更新θ，直到达到指定的迭代次数。在每次迭

主成分分析（PCA）是一种常用的数据降维技术，它可以将高维数据集转换为低维数据集，同时保留数据集中的主要特征。1.降维：PCA可以有效地将高维数据集转换为低维数据集，从而减少计算复杂度、存储需求和处理时间。2.去除噪声：通过保留主要成分（即解释数据方差最大的方向），PCA可以帮助去除数据中的噪声，提升模型的性能。3.提高可视化效果：PCA可以将高维数据投影到二维或三维空间，便于数据的可视化和理解。

ybnum所存储的是每个类别的样本数量，tznum所存储的是每个预测类别的样本所对应的特征的数量，classes所存储的则是预测样本的类别，即‘是’或‘否’# 存储每个类别的样本数量# 存储每个预测类别的样本对应的特征的数量# 存储预测类别实验时，通过该方法进行分类时，不是每次都能得到理想的结果，与理想中的结果存在一定误差，需要通过不断完善训练集来提高分类准确性。其次，使用该分类器时注意各个特征需

支持向量机（Support Vector Machine，SVM）是一种监督学习算法，用于分类和回归分析。其基本原理是找到一个最优的超平面，将不同类别的数据点分隔开来，并且使得间隔最大化。在分类问题中，SVM试图找到一个能够将不同类别数据点分隔开的最佳决策边界，这个边界由离该边界最近的一些训练数据点组成，它们被称为支持向量。超平面是几何学和线性代数中的一个重要概念，特别常见于支持向量机（SVM）等

主成分分析（PCA）是一种常用的数据降维技术，它可以将高维数据集转换为低维数据集，同时保留数据集中的主要特征。1.降维：PCA可以有效地将高维数据集转换为低维数据集，从而减少计算复杂度、存储需求和处理时间。2.去除噪声：通过保留主要成分（即解释数据方差最大的方向），PCA可以帮助去除数据中的噪声，提升模型的性能。3.提高可视化效果：PCA可以将高维数据投影到二维或三维空间，便于数据的可视化和理解。

支持向量机（Support Vector Machine，SVM）是一种监督学习算法，用于分类和回归分析。其基本原理是找到一个最优的超平面，将不同类别的数据点分隔开来，并且使得间隔最大化。在分类问题中，SVM试图找到一个能够将不同类别数据点分隔开的最佳决策边界，这个边界由离该边界最近的一些训练数据点组成，它们被称为支持向量。超平面是几何学和线性代数中的一个重要概念，特别常见于支持向量机（SVM）等

X = np.hstack((np.ones((m, 1)), X)) # 添加偏置项X是一个m×n的特征矩阵，其中m是样本数量，n是特征数量。y是一个长度为m的标签向量。是梯度下降的学习率，控制每次参数更新的步长。iterations是迭代次数，指定梯度下降的更新次数。在函数内部，首先对输入特征矩阵X添加了偏置项，然后初始化参数θ为全零向量。接下来通过迭代更新θ，直到达到指定的迭代次数。在每次迭