决策树是监督学习中一类兼具分类与回归能力的模型，其核心思想是模拟人类决策逻辑 —— 通过对数据特征的层级化判断，逐步缩小决策范围，最终输出确定结果。因整个判断流程以 “根节点→内部节点→叶子节点” 的树形结构呈现（根节点为初始判断条件，内部节点为中间特征筛选，叶子节点为最终决策结果），故得名 “决策树与复杂算法相比，它无需依赖专业数学知识就能理解决策逻辑，是机器学习中可解释性最强的 “大众化算法”

读取（训练集）和（测试集），处理逗号分隔的格式，分离 4 个特征和 1 个标签。定义TreeNode类，存储决策树节点的分裂特征、阈值、左右子树和叶节点值。实现决策树的基础功能（熵计算、信息增益比、最优分裂查找）。在树的构建过程中加入预剪枝的停止条件（最大深度、最小样本数、叶节点最小样本数、增益比阈值）。用训练集训练模型，测试集评估效果。1.读取训练集和测试集"""读取逗号分隔的txt数据，返回X

当输入一个没有标签的数据时，KNN 算法会将这个数据的每一个特征与样本集中数据的对应特征进行细致比对，进而找出样本中特征最为相近的数据（即最近邻）的分类标签。通常情况下，我们不会遍历样本数据集中的所有数据，而是仅选取前 k 个最相似的数据，这里的 “k” 便是 KNN 算法名称中 “K” 的由来，一般 k 是一个不超过 20 的整数。在实际应用场景中，会存在一个样本数据集，也就是训练样本集，并且这

手写数字数据集特征为像素灰度值（离散），适配多项式NB，但部分数字（3与8、9与4）像素分布相似，破坏了特征独立假设，导致误分类增多。其中n是样本的特征数量， Xi 是样本的第i个特征。手写数字数据集（多项式NB）：准确率约88.33%，混淆矩阵显示数字3、8、9误分类较多，数字0、1、6的F1分数≥0.95，数字3、8的F1分数≤0.8。功能说明：导入实验所需库，加载鸢尾花（连续特征）和手写数字

手写数字数据集特征为像素灰度值（离散），适配多项式NB，但部分数字（3与8、9与4）像素分布相似，破坏了特征独立假设，导致误分类增多。其中n是样本的特征数量， Xi 是样本的第i个特征。手写数字数据集（多项式NB）：准确率约88.33%，混淆矩阵显示数字3、8、9误分类较多，数字0、1、6的F1分数≥0.95，数字3、8的F1分数≤0.8。功能说明：导入实验所需库，加载鸢尾花（连续特征）和手写数字