我写的很基础，大家可以选择性的阅读自己需要的，如果有不足之处大家可以提出。之后我也会更新其它的机器学习方法。...+by_%7Bi%7D。

如有不足，请大家进行批评指证。之后我也会更新机器学习的其它方法。...+b。

信息熵的定义：信息熵是信息论中衡量随机变量不确定性的指标，对应决策树中数据集的 “混乱度”：熵越大，类别分布越均匀，混乱度越高，纯度越低；熵越小，类别分布越集中，混乱度越低，纯度越高。数据集D的信息熵公式为：；(注：熵的取值范围：,当所有样本为同一类别时，H(D)=0,纯度 100%；当类别均匀分布时，，混乱度最大。对于某一特征，取其固有值为该特征划分数据集的 “信息熵”，取值数越多，固有值越大。

我只对随机森林进行了简单的讲解，大家有不明白的可以评论留言。代码部分，我只以分类任务为例，如果对回归任务有需求，大家也可以留言。

3. 定义并训练SVM模型（对比线性核和RBF核）# 3.1 线性核SVM# C=1.0：惩罚系数（默认值），C越大对误分类惩罚越重；kernel='linear'指定线性核svm_linear.fit(X_train, y_train) # 用训练数据训练模型# 3.2 RBF核SVM（处理非线性场景）# gamma='scale'：gamma是RBF核的参数，scale表示gamma=1/(n

如有不足请大家的批评指正。

神经网络是一种模仿人脑神经元结构的机器学习模型，由输入层隐藏层输出层组成，核心是通过数据驱动的方式学习输入与输出之间的映射关系。（注：通过输入层隐藏层输出层顺序串联，完成从原始数据到最终预测结果的转换，就像工厂的 “原材料接收→加工生产→成品输出” 流水线，且只有输入层和输出层是 “可见层”，直接对接数据和结果；隐藏层是网络的 “黑箱核心”，负责特征学习和数据变换。神经网络本质：通过权重和偏置的学

定义K-Means聚类核心类# 类的初始化方法（创建实例时执行，设置超参数和核心变量）"""K-Means模型初始化函数:param n_clusters: 聚类数量k（默认值2）:param max_iter: 最大迭代次数（默认值300，防止无限循环）:param tol: 质心收敛阈值（默认值1e-4，质心变化小于该值则停止迭代）"""# 保存聚类数量k到实例属性# 保存最大迭代次数到实例属

层次聚类是自底向上凝聚型的无监督聚类，核心是通过合并最相似的聚类生成树状图，无需提前指定 k，树状图切割后可得到任意数量的聚类；层次聚类的核心是类间距离——链接方式，常用 4 种：Ward——工业界首选、平均、单、全链接，样本间距离最常用欧氏距离，且聚类前必须做数据标准化；层次聚类的优势是可解释性强、生成分层结构，缺点是时间复杂度高，适用于小样本的探索性聚类或需要分层结果的场景。内容有限，只具体写

密度相连性：聚类内任意两点都密度相连；最大性：聚类外的点与聚类内的点都不密度相连。总结：聚类是由核心点及其密度可达的所有点组成的集合，边界点依附核心点存在，噪声点无任何核心点支撑。DBSCAN 是基于密度的聚类，用ε- 邻域和MinPts定义密度，将点分为核心点、边界点、噪声点；聚类由核心点及其所有密度可达的点组成，边界点依附核心点，噪声点无核心点支撑；核心逻辑是核心点的 ε- 邻域扩展，将所有密