1. 判别式模型 vs. 生成式模型：核心思想与实战选择

期末复习时，很多同学一看到“判别式”和“生成式”这两个词就头疼，感觉概念很抽象。别急，咱们用一个最生活化的例子来理解。想象一下，你现在要训练一个模型来区分一张图片是猫还是狗。

判别式模型 就像一个经验丰富的宠物鉴定师。他不在乎猫和狗在世界上是怎么“生成”出来的，比如猫的祖先是什么、狗的品种有多少。他只关心一件事：给定一张图片，我看到的特征（比如耳朵形状、脸型、毛发纹理）更符合猫的标准，还是更符合狗的标准？ 他直接学习的是“特征”与“类别”之间的条件概率，也就是 P(类别 | 特征)。他的目标是在特征空间里画出一条最清晰的决策边界，把猫和狗分开。所以，判别式模型是“结果导向”的。

生成式模型 则更像一个生物学家兼画家。他不仅想学会区分猫和狗，还想从根本上理解猫和狗各自是什么样的。他会去研究猫这个物种的总体特征分布（比如，猫的眼睛通常是什么形状，体型多大），也会去研究狗的总体特征分布。他学习的是每个类别下特征的联合概率分布，也就是 P(特征， 类别)。当需要判断一张新图片时，他会分别计算这张图片由“猫的模型”生成的概率，以及由“狗的模型”生成的概率，哪个概率大，就判定为哪个类别。所以，生成式模型是“源头建模”的。

理解了核心思想，我们来看典型的模型例子，这几乎是必考题。

典型的生成式模型：

• 朴素贝叶斯：这是最经典的入门模型。它之所以“朴素”，是因为它做了一个很强的假设：所有特征之间是相互独立的。在这个假设下，它分别计算每个类别下各个特征出现的概率，然后组合起来。比如，判断一封邮件是不是垃圾邮件，它会计算在“垃圾邮件”这个类别下，“免费”、“中奖”这些词出现的概率有多高。
• 高斯混合模型：这个模型认为，我们观测到的所有数据，是由几个不同的高斯分布（也就是正态分布）“混合”生成的。比如，一群人的身高数据，可能实际上是由“男性身高分布”和“女性身高分布”两个高斯分布混合而成的。GMM的任务就是找出这些潜在的分布。
• 隐马尔可夫模型：常用于序列数据，比如语音识别。它假设有一个我们看不见的“状态”序列在按照马尔可夫链变化，而我们能观测到的数据（如声音信号）是由这些状态生成的。

典型的判别式模型：

• 逻辑回归：别看名字里有“回归”，它是个地道的分类模型。它直接对 P(类别 | 特征) 进行建模，通过一个Sigmoid函数将线性组合的结果映射到0-1之间，表示概率。
• 支持向量机：它的目标非常明确：找到一个超平面，使得两个类别之间的“间隔”最大化。这个超平面就是它学到的决策边界，是典型的判别式思想。
• 决策树/随机森林：通过一系列“如果-那么”的规则对数据进行划分，最终将样本分到不同的叶子节点（类别）。它直接学习从特征到类别的映射规则。
• 深度学习神经网络：现代深度网络，无论是CNN处理图像还是RNN处理文本，其最后一层通常是一个Softmax分类器，它直接输出属于各个类别的概率，是强大的判别式模型。

在实战中如何选择？ 我个人的经验是，可以遵循一个简单的思路：如果你的主要目标是获得高精度的分类或预测结果，并且有充足的数据，优先选择判别式模型（如逻辑回归、SVM、深度学习模型），因为它们通常能学到更复杂的边界。如果你需要理解数据本身的分布结构，或者数据量很少，甚至需要生成新的数据样本，那么生成式模型（如朴素贝叶斯、GMM）可能更有优势。 例如，在文本分类任务中，如果特征（单词）维度很高且数据稀疏，朴素贝叶斯（生成式）常常能带来惊喜；而在图像分类任务中，CNN（判别式）则是绝对的主流。

2. 正则化：L1与L2，不只是防止过拟合

正则化是防止模型过拟合的利器，但L1和L2正则化背后的故事，远比“防止过拟合”五个字要丰富。很多同学只记住了“L1稀疏，L2平滑”，但不知道为什么，考试一深入就懵了。咱们来彻底讲透。

首先，从几何直观上理解。假设我们的模型只有两个参数 w1 和 w2。没有正则化时，损失函数就像一座碗，我们的目标是找到碗底（最小损失点）。现在加上正则化，相当于给优化过程增加了一个“约束区域”。

• L1正则化的约束区域是一个菱形（|w1| + |w2| ≤ C）。损失函数的等高线（椭圆）与这个菱形相交时，最优解（切点）有很大的概率落在菱形的角点上。在角点上，比如（w1, 0），就意味着其中一个参数（这里是w2）被压缩成了0。这就是稀疏性的来源——它倾向于让一部分不重要的特征的权重直接归零，相当于自动做了特征选择。
• L2正则化的约束区域是一个圆形（w1² + w2² ≤ C）。损失函数的等高线与圆形相交的切点，几乎不可能落在坐标轴上，更可能落在某个平滑的位置，比如（a, b）。所以L2正则化不会把参数压到0，而是让所有参数都共同缩小，趋向于一个更小的绝对值，从而让模型整体更平滑，抗干扰能力更强。

其次，从概率角度理解，这能帮你回答更理论的问题。我们可以认为，在训练模型之前，我们对参数应该长什么样有一个“先验”认知。正则化项就对应了这个先验分布。

• L1正则化等价于假设参数服从拉普拉斯分布。拉普拉斯分布在0点有一个尖峰，这意味着我们事先就认为参数取0值的可能性很大，这直接导致了稀疏性。
• L2正则化等价于假设参数服从高斯分布（正态分布）。高斯分布集中在均值（通常设为0）附近，但取到确切0值的概率并不高。它鼓励参数值集中在0附近的一个小范围内，保证了模型的稳定性。

在实际项目中怎么选？这个坑我踩过。

• 特征选择是明确需求时，用L1。比如你正在做金融风控，有上千个特征，但你知道其中很多是无关或冗余的，你想知道到底是哪几十个关键特征在起作用。这时用L1正则化的逻辑回归或线性模型，可以得到一个稀疏的、可解释性强的模型。
• 特征大多都有用，且共线性较强时，用L2。比如在图像处理中，相邻像素点的特征本身就是高度相关的，你并不想丢弃任何一个，只是希望抑制权重过大导致的过拟合。L2是更好的选择，它让所有相关特征共同分担影响。
• 一个实用的技巧：Elastic Net。很多时候，我们面临的情况是复杂的。这时候可以结合L1和L2，也就是Elastic Net正则化。它同时包含L1和L2项，通过一个混合比例参数来调整。这样既能获得L1的稀疏性进行特征选择，又能获得L2的稳定性来处理共线性。我在处理一些中型结构化数据集时，经常会先尝试Elastic Net作为基线。

3. 过拟合与欠拟合：诊断与“药方”

过拟合和欠拟合是模型训练中的“常见病”，期末考一定会让你解释并给出解决方法。但死记硬背几条方法不够，你得像个医生一样，先学会“诊断”，再“开药方”。

诊断：看学习曲线 最靠谱的诊断工具是绘制学习曲线。它描绘了模型在训练集和验证集上的性能（如准确率、误差）随着训练样本数增加或模型复杂度变化而变化的趋势。

• 欠拟合的典型症状：训练集和验证集的误差都很高，而且两者非常接近。这说明模型太“笨”了，连训练数据里的规律都学不会，复杂度严重不足。好比一个学生，课本上的例题都做不对（训练集差），考试当然更差（验证集差），且两者分数差不多。
• 过拟合的典型症状：训练集的误差非常低，但验证集的误差很高，两者之间有巨大的“鸿沟”。这说明模型太“精”了，把课本上的例题甚至印刷瑕疵都背下来了（训练集极好），但一到考试，题目稍微变个花样就不会了（验证集差）。

“药方”清单与使用场景 知道了病症，我们来看具体的“药方”。这些方法不是孤立的，常常需要组合使用。

1. 解决欠拟合（模型太简单）：

   • 增加模型复杂度：这是最直接的方法。比如，对于决策树，增加树的最大深度；对于神经网络，增加更多的层或神经元；对于SVM，使用更复杂的核函数（如RBF核）。
   • 增加更多有效的特征：检查是否遗漏了重要的特征。可以通过特征工程来构造新的特征，比如将两个特征相乘产生交互项。
   • 减少正则化强度：如果你之前用了很强的正则化（如很大的λ值），可以尝试减小它，放松对模型的限制。
   • 延长训练时间：对于迭代算法（如神经网络、梯度提升），可能只是训练轮数（epoch）不够，模型还没学到东西就停止了。

2. 解决过拟合（模型太复杂）：

   • 获取更多高质量数据：这是解决过拟合最根本、最有效的方法，但往往也最难。更多的数据能让模型看到更全面的数据分布，而不是死记硬背那几个样本。
   • 数据增强：在现有数据的基础上，通过一些变换（如图像的旋转、裁剪、加噪；文本的同义词替换）来“创造”出新的训练样本，相当于廉价地扩大了数据集。
   • 降低模型复杂度：与欠拟合相反。减小决策树的深度、减少神经网络的层数和宽度、使用线性核代替RBF核。
   • 正则化：正如上一节详细讨论的，引入L1、L2正则化项，惩罚过大的权重。
   • Dropout（针对神经网络）：在训练过程中，随机“丢弃”神经网络中的一部分神经元（将其输出置零）。这强迫网络不能过度依赖某些特定的神经元，必须学习到更鲁棒的特征，可以看作是一种模型平均。
   • 早停法：在训练迭代过程中，持续监控验证集上的性能。当发现验证集误差不再下降反而开始上升时，就立即停止训练。这防止了模型在训练集上继续“钻牛角尖”。

在我的项目经验里，早停法配合验证集是性价比最高的防过拟合技巧之一，几乎每次训练神经网络都会用。而Dropout则是让深度网络泛化能力更强的“标配”。记住，没有银弹，通常需要根据学习曲线的反馈，耐心地调整上述多种方法。

4. 模型评估：ROC、PR曲线与阈值玄学

学了一堆模型，怎么知道哪个好？准确率？在类别不平衡的数据里，准确率会是“陷阱”。比如一个疾病检测数据集，99%是健康，1%是患病。一个模型只要把所有样本都预测为健康，就能获得99%的准确率，但这个模型对患病检测毫无用处。这时候，查准率、查全率、ROC曲线和PR曲线就必须登场了。

我们先理清两个核心概念：

• 查准率：也叫精确率。模型预测为正的样本中，有多少是真正的正例。“宁缺毋滥”。我希望我预测出的患病者，尽可能都是真的患者，减少误诊。
• 查全率：也叫召回率。真正的正例中，有多少被模型找出来了。“宁可错杀，不可放过”。我希望尽可能找出所有的患者，减少漏诊。

ROC曲线描绘的是，当分类阈值从1到0变化时，真正例率（查全率） 和 假正例率 之间的关系。假正例率是负例中被错误预测为正例的比例。ROC曲线下的面积就是AUC，它衡量的是模型整体上将正例排在负例前面的能力。AUC越接近1，模型性能越好。ROC曲线对类别不平衡相对不敏感，这是它的一大优点。

PR曲线描绘的是，当分类阈值变化时，查准率 和 查全率 之间的关系。在类别严重不平衡（正例很少）的场景下，PR曲线比ROC曲线更能反映模型的真实性能。因为此时假正例率很小的变化，在ROC曲线上看不明显，但对查准率的影响可能是巨大的。

关于阈值变化的考题：题目里说，二分类模型初始阈值0.5，现在提高到0.6。这意味着模型要更有“把握”才判定为正例，判定标准更严格了。

• 查准率：很可能会上升。因为被判定为正例的样本都是概率很高的，其中混入的假正例（负例）可能会减少。
• 查全率：很可能会下降。因为一些概率在0.5到0.6之间的真实正例，现在被“卡”住了，没有被召回。

这就像一个招聘官，把录用分数线从60分提高到80分。那么被录用的人（预测为正）的平均素质（查准率）很可能更高了，但一些60-80分之间的合格人才（查全率）就被漏掉了。

实战中如何选择？ 我通常的做法是：先看ROC-AUC，它给我一个模型排序能力的整体评价。如果我的数据集存在明显的类别不平衡，或者我特别关心正例的预测质量（比如金融欺诈检测、疾病筛查），我一定会仔细分析PR曲线，并可能直接使用PR曲线下的面积（AP）作为主要指标。 调整阈值是一个低成本提升业务效果的方法，你需要根据业务是更看重“查准”还是“查全”来找到那个平衡点。

5. 集成学习：Bagging与Boosting的兄弟之争

集成学习是提升模型性能的大杀器，Bagging和Boosting是其中最著名的两大家族。它们都通过组合多个“弱学习器”来形成一个强大的“强学习器”，但思路截然不同，好比一对性格迥异的兄弟。

Bagging：稳扎稳打的“平权”大哥 Bagging的核心思想是 “民主投票”。它的全称是Bootstrap Aggregating。

• 怎么操作？ 它从原始训练集中有放回地随机抽取多个子集（这个过程叫Bootstrap采样）。然后，用每个子集独立地训练一个基学习器（比如决策树）。最后，对于分类任务，让所有基学习器投票决定最终结果；对于回归任务，则取平均值。
• 核心目标：降低方差。单个模型，特别是复杂的模型（如深度决策树），容易对训练数据中的噪声过拟合，导致方差高（即模型表现不稳定）。Bagging通过训练多个模型并对结果进行平均，可以有效平滑掉这种波动，让整体模型更稳定。这就像你问一个问题，如果只问一个专家，他可能有个人偏见；但如果你问100个专家然后取主流意见，这个最终意见就可靠得多。
• 典型代表：随机森林。它就是Bagging思想+决策树的完美结合。随机森林不仅对样本进行随机采样，还对特征进行随机采样，进一步增强了基学习器之间的差异性，效果非常强大，是我做结构化数据项目时最常用的基线模型之一。

Boosting：知错就改的“加权”小弟 Boosting的核心思想是 “循序渐进，重点突破”。

• 怎么操作？ 它按顺序训练一系列基学习器。每一个新的学习器，都会更加关注前一个学习器预测错误的那些样本。具体做法是给每个训练样本赋予一个权重，开始时大家权重相等。每训练完一个学习器，就增加那些被预测错误样本的权重，降低预测正确样本的权重。这样，下一个学习器就会被迫花更多精力去学习那些“难啃的骨头”。
• 核心目标：降低偏差。Boosting的基学习器通常是那些非常简单的模型（比如深度很浅的决策树，称为“树桩”），它们本身拟合能力弱（偏差高）。但通过这种逐步修正错误的方式，Boosting能够将一系列“弱智”模型组合成一个“高智商”的强模型。
• 典型代表：AdaBoost和梯度提升树。AdaBoost是Boosting的早期经典算法，通过调整样本权重来聚焦错误。而GBDT及其进化版XGBoost、LightGBM，则是当前机器学习竞赛和工业界的“王者”。它们的思想是：每一棵新树，都去学习之前所有树加起来的预测结果与真实值之间的残差（负梯度方向）。

兄弟俩的对比表格

特性	Bagging (如随机森林)	Boosting (如AdaBoost, GBDT)
样本采样	有放回随机采样，各子集独立	每一轮使用全部样本，但样本权重不同
样本权重	每一轮采样权重相同（均匀采样）	根据上一轮错误率调整权重，错误样本权重增加
基学习器关系	相互独立，可并行训练	顺序生成，前后依赖，必须串行训练
关注点	降低模型方差，抗过拟合	降低模型偏差，提升预测能力
基学习器类型	倾向于使用强学习器（如未剪枝的决策树）	通常使用弱学习器（如深度为1的决策树桩）

怎么选？ 根据我的经验：如果你的基模型本身已经比较复杂（比如深度决策树），容易过拟合，那么用Bagging（随机森林）来稳定它，效果立竿见影。如果你的数据复杂，用简单模型拟合效果很差（欠拟合），那么用Boosting（如XGBoost）来逐步提升，往往能取得更好的精度。在计算资源允许的情况下，我通常会两个都试试。