在训练模型的时候，我们一定会用到“损失函数”。MSE：算误差交叉熵：也是算误差既然都是算误差，那随便用一个不就行了吗？选错损失函数，模型可能根本学不动。这篇文章，我们用一张图，把这个问题彻底讲清楚。数值预测 → 用 MSE类别概率 → 用交叉熵。

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档。

一开始我对这个岗位的理解很表面，总觉得它好像就是“会写提示词的人”。但接触得越多，我越觉得这种理解太浅了。因为在真实的 AI 应用里，Prompt 工程师做的事情并不只是写几句话，而是要，去设计一整套。所以这篇文章，我想继续用“”的方式，梳理一下 Prompt 工程师到底在做什么，以及为什么它并不只是“写提示词”这么简单。

在训练模型的时候，我们一定会用到“损失函数”。MSE：算误差交叉熵：也是算误差既然都是算误差，那随便用一个不就行了吗？选错损失函数，模型可能根本学不动。这篇文章，我们用一张图，把这个问题彻底讲清楚。数值预测 → 用 MSE类别概率 → 用交叉熵。

假设你在一家公司的内部办公系统里，接入了一个 AI 助手。这时候，AI 助手要怎么回答？这时候，RAG 就派上用场了。

一张图讲清楚：什么是过拟合？模型为什么会学“过头”？训练集表现越来越好 ✔测试集表现却越来越差 ❗训练准确率 99%，测试准确率只有 70%模型学“过头”了（Overfitting）这张图其实讲了两件非常重要的事情：1️⃣ 上半部分：Loss 曲线（最关键）蓝线（训练集 Loss）：一直下降红线（验证集 Loss）：先下降 → 后上升验证集 Loss 开始上升的那一刻，就是过拟合开始的地方2️⃣

你只需要记住这三点：1️⃣ 数据归一化：解决“模型好不好学”2️⃣ 数据划分：解决“评估准不准”3️⃣ 两者都是训练前必须做的准备工作一个影响训练效率，一个决定评估可信度。

在深度学习中，ReLU 是最常用的激活函数之一。计算简单收敛快梯度不容易消失如果 ReLU 这么好，为什么模型有时候会“学着学着就不动了”？答案是：部分神经元“死掉了”，即死亡 ReLU（Dead ReLU）这张图其实已经讲清楚了一个非常重要的对比：左边：正常 ReLU → 可以持续学习右边：死亡 ReLU → 完全停止学习。

在训练模型的时候，我们一定会用到“损失函数”。MSE：算误差交叉熵：也是算误差既然都是算误差，那随便用一个不就行了吗？选错损失函数，模型可能根本学不动。这篇文章，我们用一张图，把这个问题彻底讲清楚。数值预测 → 用 MSE类别概率 → 用交叉熵。

梯度算出来以后，到底怎么让模型变好？模型是怎么一步步“少犯错”的？梯度下降（Gradient Descent）把它放到一张图里看，其实很好理解，先看图。梯度告诉你“往哪走”学习率决定你“走多远”朝哪个方向改参数，误差会下降这一步该多大不断重复“找方向 → 走一步 → 再找方向 → 再走一步”，直到模型逐渐走到一个误差更低的位置。梯度下降的本质，就是利用梯度这个“方向指示器”，再配合学习率这个“步长