一开始我对这个岗位的理解很表面，总觉得它好像就是“会写提示词的人”。但接触得越多，我越觉得这种理解太浅了。因为在真实的 AI 应用里，Prompt 工程师做的事情并不只是写几句话，而是要，去设计一整套。所以这篇文章，我想继续用“”的方式，梳理一下 Prompt 工程师到底在做什么，以及为什么它并不只是“写提示词”这么简单。

在训练模型的时候，我们一定会用到“损失函数”。MSE：算误差交叉熵：也是算误差既然都是算误差，那随便用一个不就行了吗？选错损失函数，模型可能根本学不动。这篇文章，我们用一张图，把这个问题彻底讲清楚。数值预测 → 用 MSE类别概率 → 用交叉熵。

假设你在一家公司的内部办公系统里，接入了一个 AI 助手。这时候，AI 助手要怎么回答？这时候，RAG 就派上用场了。

一张图讲清楚：什么是过拟合？模型为什么会学“过头”？训练集表现越来越好 ✔测试集表现却越来越差 ❗训练准确率 99%，测试准确率只有 70%模型学“过头”了（Overfitting）这张图其实讲了两件非常重要的事情：1️⃣ 上半部分：Loss 曲线（最关键）蓝线（训练集 Loss）：一直下降红线（验证集 Loss）：先下降 → 后上升验证集 Loss 开始上升的那一刻，就是过拟合开始的地方2️⃣

你只需要记住这三点：1️⃣ 数据归一化：解决“模型好不好学”2️⃣ 数据划分：解决“评估准不准”3️⃣ 两者都是训练前必须做的准备工作一个影响训练效率，一个决定评估可信度。

在深度学习中，ReLU 是最常用的激活函数之一。计算简单收敛快梯度不容易消失如果 ReLU 这么好，为什么模型有时候会“学着学着就不动了”？答案是：部分神经元“死掉了”，即死亡 ReLU（Dead ReLU）这张图其实已经讲清楚了一个非常重要的对比：左边：正常 ReLU → 可以持续学习右边：死亡 ReLU → 完全停止学习。

在训练模型的时候，我们一定会用到“损失函数”。MSE：算误差交叉熵：也是算误差既然都是算误差，那随便用一个不就行了吗？选错损失函数，模型可能根本学不动。这篇文章，我们用一张图，把这个问题彻底讲清楚。数值预测 → 用 MSE类别概率 → 用交叉熵。

梯度算出来以后，到底怎么让模型变好？模型是怎么一步步“少犯错”的？梯度下降（Gradient Descent）把它放到一张图里看，其实很好理解，先看图。梯度告诉你“往哪走”学习率决定你“走多远”朝哪个方向改参数，误差会下降这一步该多大不断重复“找方向 → 走一步 → 再找方向 → 再走一步”，直到模型逐渐走到一个误差更低的位置。梯度下降的本质，就是利用梯度这个“方向指示器”，再配合学习率这个“步长

上一篇文章里，我讲了深度学习训练过程中的向前传播和向后传播。神经网络为什么一定要有激活函数？因为从表面上看，每一层都在做类似z = Wx + b的计算。如果每一层都只是线性计算，多堆几层不就行了吗？为什么还必须额外加入激活函数？这里的“非线性”到底重要在哪？这篇文章，我就想结合一张图，把这个问题彻底讲清楚。激活函数最核心的作用，不是“多一个函数”，而是给神经网络引入非线性能力。如果没有激活函数，那

上一篇文章里，我用“让机器学会认出猫”的案例，讲了什么是深度学习。模型到底是怎么学会这些规律的？它不是人，不会“看着看着就懂了”。那它到底是怎么从一开始什么都不会，到最后慢慢变得越来越准的？向前传播损失函数向后传播参数更新这篇文章，我就结合下面这张图，把深度学习训练过程完整梳理一遍。如果只用一句话总结这张图，我会这样说：向前传播负责“先算出答案”，损失函数负责“看错多少”，向后传播负责“把错误往回