KNN（K-Nearest Neighbor，K近邻算法）是一种基于“物以类聚”思想的监督学习算法，通过计算待分类样本与训练集中各样本的距离，选取距离最近的K个邻居，统计这K个邻居的类别出现频率，将频率最高的类别作为预测结果。本次实验成功完成了 KNN 模型的手动实现与多分类 ROC 曲线的绘制，不仅深化了对 KNN 算法原理和模型评估指标的理解，还解决了工程实践中的路径匹配、版本兼容等实际问题，

本次实验针对贷款审批场景，采用ID3 决策树算法，以信息增益信息熵：衡量贷款数据集的类别不纯度，公式为 H(D)=−∑k=1K​pk​log2​pk​（pk​为 “给贷款”/“不给贷款” 的样本占比）；信息增益：划分后信息熵的减少量，公式为 Gain(D,a)=H(D)−∑v=1V​∣D∣∣Dv∣​H(Dv)（a为贷款特征，如 “有自己的房子”；Dv为特征a取v值的子集）；核心逻辑：优先选择信息增

本次实验完整实现了贷款审批决策树的预剪枝流程，明确了预剪枝参数的作用与调优方法，通过对比验证了预剪枝对模型结构的优化效果。实验结果表明，预剪枝在小样本场景下可保持分类准确率，同时为大样本场景提供抗过拟合能力，是决策树工程落地的关键步骤。

当C=100时，SVM 模型学习到的线性决策边界能清晰分离 “Positive” 与 “Negative” 样本，且由于C值较大，模型对分类错误的惩罚较重，最终实现了所有样本的正确分类。

本次实验针对贷款审批场景，采用ID3 决策树算法，以信息增益信息熵：衡量贷款数据集的类别不纯度，公式为 H(D)=−∑k=1K​pk​log2​pk​（pk​为 “给贷款”/“不给贷款” 的样本占比）；信息增益：划分后信息熵的减少量，公式为 Gain(D,a)=H(D)−∑v=1V​∣D∣∣Dv∣​H(Dv)（a为贷款特征，如 “有自己的房子”；Dv为特征a取v值的子集）；核心逻辑：优先选择信息增