决策树是一种通过递归地选择最佳特征进行分裂，从而将数据集划分成更纯的子集，最终形成一棵树状结构的预测模型。核心：选择分裂特征的标准（信息增益、基尼指数）。关键：通过剪枝来平衡模型的复杂度和泛化能力，防止过拟合。价值：其可解释性在医疗、金融等需要决策透明的领域具有无可替代的优势。它是理解更复杂模型（如随机森林、梯度提升树GBDT/XGBoost）的基石，因为这些强大的算法正是由多棵决策树集成而来的。

优点理论优美：基于坚实的统计学习理论（结构风险最小化）。有效处理高维数据：即使特征维度远高于样本数，也能有效工作。内存效率高：最终的模型仅由支持向量决定，无需存储全部训练数据。泛化能力强：通过最大化间隔，通常具有很好的泛化性能。高度灵活：通过使用不同的核函数，可以解决各种复杂的非线性问题。缺点对超参数敏感：当使用非线性核（如RBF）时，惩罚参数 CC 和核参数 γγ 的选择对性能影响巨大，需要仔细

核心思想：逻辑回归是一种用于解决分类问题的监督学习算法。它的目标是找到一个模型，能够根据输入特征预测一个离散的类别标签（例如：是/否，垃圾邮件/非垃圾邮件，患病/健康）。为什么叫“回归”？因为它底层使用了类似于线性回归的线性函数（），但关键的一步是，它将这个线性输出通过一个激活函数（Sigmoid函数）映射到了[0, 1]之间的一个概率值。通俗解释：逻辑回归不是直接预测类别，而是预测属于某个类别的

核心思想：线性回归是一种通过拟合自变量（特征）与因变量（标签）之间的线性关系来进行预测的监督学习算法。通俗解释：我们认为要预测的目标（比如房价）和其特征（比如面积、位置）之间存在一种“直线”关系。我们的目标是找到一条“最佳”的直线（或平面/超平面），使得这条直线能够尽可能准确地根据特征来预测目标。主要类型简单线性回归：只有一个自变量。Y = wX + b多元线性回归：有多个自变量。Y：我们要预测的

K-means 是一个通过迭代、不断优化簇中心位置，来将数据点划分成 K 个紧凑且独立簇的无监督学习算法。它的核心是“猜中心，再归类，再调整”，直到形成稳定的分组。它是一个强大工具，是理解聚类分析乃至机器学习的一个完美起点。

随机森林是一个强大、通用且易于使用的机器学习算法。它通过巧妙地结合Bagging和随机特征选择，将许多表现尚可但略有不同的决策树集成为一个高度准确且稳定的模型。它既是学术研究的宠儿，也是工业界解决实际问题的首选工具之一，尤其适用于作为项目的基线模型，因为它通常能提供一个“还不错的”结果，而无需复杂的调参。

作为该区域的特征。

参数稀疏连接与权值共享： 这是CNN参数效率高的根本原因，使其能够用更少的参数构建更深的网络。平移不变性： 由于滤波器在整个图像上滑动，无论特征出现在哪里，都能被检测到。层次化特征学习： 自动从低级到高级学习特征，无需人工设计特征。这使得CNN非常强大和通用。强大的表示能力： 非常深的CNN（如ResNet, VGG）可以学习极其复杂的模式和表示。

作为该区域的特征。

将训练一个神经网络想象成训练一个盲人射手打靶射手：神经网络模型。弓箭和姿势：模型的参数（权重和偏置）。靶心：完美的预测（真实标签）。射箭：模型进行一次预测。损失函数报靶员。你射得有多偏？（损失值）偏向哪个方向？（梯度的方向）偏了多少厘米？（梯度的大小）梯度下降算法：射手根据报靶员的信息，系统地调整他的姿势（模型参数），目标是让下一箭射得更准（损失更低）。如果没有这个报靶员（损失函数），射手就永远不