目前AI生成思维导图的技术还没那么高超，会上传作者抽象的手写导图和笔记，仅作为参考，会附在最后。

🔍 损失函数（Cost Function）—— 模型的 “错题本”

你可以把损失函数想象成老师给你批改作业的 “错题本”。它的唯一作用，就是告诉你模型这次 “作业” 做得怎么样，预测值和真实答案差了多少。

回归任务用 MSE比如你要预测房价，预测值和真实房价差了多少，把这些差值都平方后取平均，就是均方误差（MSE）。

公式：

这个值越小，说明模型对房价的预测越准。

分类任务用交叉熵比如判断一张图片是猫还是狗，我们要比较模型给出的 “是猫” 的概率和真实标签的差异，这时候就用交叉熵损失（Cross-Entropy）。

公式：

它专门用来衡量两个概率分布的差距。

绝对误差损失有时候数据里有异常值，用 MSE 容易被带偏，这时候就可以用绝对误差损失，它直接算差值的绝对值，对异常值更 “稳重”。

公式：

本质是预测值与真实值的误差损失函数的本质，就是量化 “模型预测的结果” 和 “真实世界的答案” 之间的差距，我们训练模型的终极目标，就是让这份成绩单上的数字变得越来越小。

---

🛠️ 梯度下降（Gradient Descent）—— 让模型 “下山” 的算法

想象一下，你现在站在一座大雾弥漫的山顶，目标是走到山谷的最低点，但你只能看到脚下很小的一片区域。你会怎么走？很简单，每一步都朝着脚下最陡的下坡方向走，对吧？梯度下降就是这个道理。

核心公式

这里的θ是模型的参数，就像你调整方向的 “舵”；

α是学习率，决定你每一步迈多大；

∇J(θ)是损失函数的梯度，它指向了 “上坡” 最陡的方向，所以我们要反着走，才能 “下坡”。

梯度的几何意义梯度∇J(θ)的大小，正好对应了损失函数曲线上某点切线的斜率。斜率越大，说明 “坡越陡”，我们需要调整的步幅就越大。

二维参数怎么更新？比如模型有两个参数θ0和θ1，我们就对每个参数分别计算偏导数，然后各自更新：

什么时候停？我们会不断重复这个 “下坡” 的过程，直到损失函数的值小到我们满意为止，或者说，直到我们感觉已经 “走” 到山谷底部了。

多特征扩展多特征的情况也是一样的，只是需要更新的参数更多

而已，逻辑完全相同。

---

⚖️过拟合 vs 欠拟合 —— 模型的 “学习困境”

训练模型就像学生备考，很容易走两个极端：

问题	原因	表现
欠拟合 (Underfitting)	模型太 “笨”，神经元太少，学不会复杂规律	训练集和考试（验证集）成绩都很差
过拟合 (Overfitting)	模型太 “死记硬背”，神经元太多，把训练数据里的噪声都当成了规律	训练集成绩接近满分，但一到考试（验证集）就原形毕露

通用应对策略：

如果一开始不知道选多复杂的模型，最简单的办法就是：先从一个复杂模型开始，然后用技术手段给它 “瘦身”，防止过拟合。

---

🛡️ 防过拟合三大法宝

1. 权重正则化（Weight Regularization）—— 给模型 “减肥”

模型过拟合的一个常见原因是，某些权重值太大，导致模型对训练数据里的一点点噪声都过度敏感。正则化就是通过在损失函数里加一个 “惩罚项”，来限制权重的大小。

L1 正则化

公式：

它会把一部分权重直接压到 0，相当于自动帮你做了特征选择，留下最重要的特征，输出是稀疏的（很多 0）。

L2 正则化

公式：

它不会把权重压到 0，而是让所有权重都变得更小，计算效率更高，也是实际项目中最常用的。

核心思想Large Weights → Overfitting，所以我们要把权重的大小加入到损失函数里一起优化。

2. Dropout —— 随机 “裁员” 增强鲁棒性

你可以把 Dropout 想象成公司里的 “随机轮岗”。在训练时，我们会随机让大约 50% 的神经元 “下班”，不参与这次计算。这样一来，模型就不会过度依赖某几个 “明星员工”（神经元），被迫学习更鲁棒的特征。

非随机 Dropout

还有一种非随机的 Dropout，它会通过跟踪每个神经元在路径中的 “活跃度”（activeness），把那些一直不干活的神经元直接淘汰掉，让模型更精简。

3. 早停法（Early Stopping）—— 见好就收，不恋战

我们在训练时，会同时盯着两个数据：训练集的误差和验证集的误差。一开始，两者都会下降，但当模型开始过拟合时，训练集的误差会继续下降，而验证集的误差会开始上升。

停止时机当验证集的准确率不再上升（或者说验证集误差不再下降，甚至开始上升）时，我们就该喊 “停” 了！这个停止的点，就是笔记里说的“黄金点”（The Goldilocks Point），它正好卡在欠拟合和过拟合之间，是模型泛化能力最强的时候。

可视化辅助我们可以把训练误差和验证误差画成两条曲线，当验证误差曲线开始抬头时，就是按下停止键的最佳时机。

---

✨ 补充知识点：Softmax + Cross-Entropy

在分类任务中，通常会把模型的原始输出通过Softmax 函数转换成概率分布，然后再用Cross-Entropy 损失来计算这个概率分布和真实标签之间的差距。一个很妙的性质是，这个组合的导数形式非常简洁，正好是 “预测概率” 减去 “真实标签”（pi−yi），这让反向传播的计算变得非常高效。

---

手写笔记/导图（仅供参考）

---

作者的话：

又重操旧业，开启速通教程了，这回是Deep Learning，即深度学习。

Deep Learning的知识点会通过中英参杂的方式进行，有时候计算机的知识越是深入，就越发现有很多的英文。

本系列为深度学习速通课程，中英混杂，主要为知识点的快速罗列及逻辑梳理。不牵扯到代码部分，如有需求，作者会新开系列。

希望这个系列能帮助到国内和海外的同僚。

加油！

---

p.s.

微信公众号搜索知识薪火站，知乎搜索youzuos

也会上传相应笔记，感谢关注。

有建议欢迎提出！

也非常欢迎友好交流