目录

1. 架构全景与三种形态
2. 注意力机制详解（含形状、掩码、多头、交叉、多模态）
3. 前馈网络 FFN / MLP（含 与门控变体）
4. 残差与归一化（Pre-LN / Post-LN / RMSNorm）
5. 训练目标（LM / MLM / Seq2Seq）
6. 推理与解码（KV Cache、复杂度、策略）
7. 参数量与显存估算
8. 位置与掩码家族（RoPE/ALiBi/因果/Pad）
9. 模块在三类架构中的连接（Encoder / Decoder / Enc-Dec）
10. 工程优化与实战要点
11. 附：常见易错点清单

---

1. 架构全景与三种形态

---

架构	关键注意力	典型代表	主要任务
Encoder-Only	双向自注意力	BERT	文本理解/检索
Decoder-Only	带因果掩码 自注意力	GPT/LLaMA	生成
Encoder–Decoder	自注意力 + 交叉注意力	Transformer/T5	翻译/摘要

---

2. 注意力机制详解

---

输入与嵌入（形状与记号）

• 词嵌入：词表大小 ，隐藏维度 。
• 位置：绝对位置（Sinusoidal/learned）或相对/旋转位置（RoPE/ALiBi，见后文）。

多头注意力（以自注意力为例，含形状）

• 拆成 个头，单头维度 （常见 ）。
• 线性映射：
• 重排形状：
• 打分与归一化：其中 是掩码（自注意力可无掩码，解码器因果掩码为上三角 ）。
• 加权求和与拼接：其中 。

为什么 ？

• 一次性产出所有头：工业实现中，为了高效，通常用一层线性映射同时生成 个头的投影（而不是按头分别做 次）。
  若按头分别映射，则第 个头有 。把所有头并列后得到

  同理 也是如此。于是 的最后一维先是 ，再 reshape/split 成 分头计算注意力。

• 与"单头"形状的关系： 是"单头"的投影形状；把 个单头拼在一起，等价于一次 的大矩阵乘法。

• PyTorch 常见写法：nn.Linear(d_model, H*d_h) 直接产出所有头，再用 view/reshape 与 transpose 调整为 。

• 特别情况：当 时，，就退化为单头的 。

• 例外（工程优化）：在 MQA/GQA 中， 仍常用 ，但 K/V 共享或分组共享（如 或 ），以显著减少 KV Cache 显存。

交叉注意力（形状）

将 来自解码器隐状态， 来自编码器输出；形状同上，只是长度 可不同：

多模态交叉注意力

文本作 ，图像特征作 （或反之），用于模态对齐与融合。

（若每头并拼接后再投影）

---

3. 前馈网络 FFN / MLP（含 与门控）

---

标准两层：

• , 。
• 常用取值：

门控变体（SwiGLU/GEGLU）：更强表达，FFN 参数从 提升到 ****。

---

4. 残差与归一化

---

残差：

Post-LN（原版）：

Pre-LN（主流）：

RMSNorm：仅用方差缩放（无均值项），计算更轻；深层网络常与 Pre-LN 搭配。

---

5. 训练目标（LM / MLM / Seq2Seq）

---

自回归 LM（Decoder-Only，预训练常用）：

$$\mathcal{L}=-\sum \_{t=1}^L\log p(y\_t\mid y\_<t).$$=“”

掩码 LM（Encoder-Only，理解类）：

Seq2Seq（Encoder–Decoder，任务定向）：

$$\mathcal{L}=-\sum \_{t=1}^{L\_t}\log p(y\_t\mid y\_<t,x\_1:l\_s).$$=“”

6. 推理与解码（KV Cache、复杂度、策略）

---

KV Cache（关键）

• 思想：缓存历史 ，新步只计算新增 token 的 ，并累积到缓存。
• 时间复杂度：每步约 （与历史长度线性相关），总体 ；但避免了重复计算。

常见解码策略对照

• Greedy：稳定但易重复
• Beam Search：适合翻译，稳定性高
• Top-k / Top-p：提升多样性
• Temperature：控制“随机性”

---

7. 参数量与显存估算

---

单层主项（忽略偏置）：

• 注意力：
• FFN：
• 归一化（Pre-LN, 两处）：RMSNorm ，LayerNorm 。

词嵌入与输出层

• 词嵌入：。若输出层与嵌入权重共享（tied），无需额外 。

Decoder-Only 总参数近似

其中 为层数，（ReLU/GELU）或 ****（SwiGLU/GEGLU），。

为什么归一化层的参数不是“输入×输出”？——以 LayerNorm / RMSNorm 为例

结论先说：

• “参数个数 = 输入×输出”只适用于线性/卷积这类有权重矩阵（或卷积核）的层。
• LayerNorm / RMSNorm 不是线性层，没有 的权重矩阵；它们只有逐维的可学习向量（按特征维缩放，LayerNorm 还包含逐维平移）。
• 因而每处归一化的可学习参数：

• LayerNorm： →
• RMSNorm：仅逐维缩放 →

---

1) LayerNorm：每处是

对每个 token 的向量 ，LN 先按最后一维做标准化（均值/方差是统计量，不是参数）：

随后逐维仿射变换：

• ：逐维缩放（scale）
• ：逐维平移（bias）

因此每处 LayerNorm的可学习参数为：

PyTorch 对应：

ln = nn.LayerNorm(d_model)ln.weight.shape == (d_model,)   # γln.bias.shape   == (d_model,)   # β

---

2) RMSNorm：每处是

RMSNorm 使用均方根进行归一化，不含偏置项（主流实现）：

因此每处 RMSNorm的可学习参数为：

注：少数实现会额外加 bias，但标准/主流计数通常只含逐维缩放向量。

---

3) 为什么文档里写"RMSNorm ≈ 、LayerNorm ≈ "？

那是指每层（Pre-LN）里的总归一化参数：将“每处的参数”乘以“该层中归一化出现的次数”。

• Encoder/Decoder-only block（两处归一化）：

• RMSNorm：
• LayerNorm：

• Encoder–Decoder 的 Decoder block（三处归一化）：

• RMSNorm：
• LayerNorm：

数值直觉（）：

• Pre-LN、两处归一化：

• RMSNorm： 个参数/层
• LayerNorm： 个参数/层

---

4) 小结对比

层类型	是否有权重矩阵	每处可学习参数
线性/卷积	✅（ 或卷积核）	约为"输入×输出"
LayerNorm	❌（仅逐维仿射）
RMSNorm	❌（仅逐维缩放）

因此，“输入×输出”的计数规则不适用于归一化层；归一化层的参数是逐特征维的向量。

KV Cache 显存估算

• 每层、每个 token：需要保存 K 和 V：
• 整个序列（长度 ）、 层、batch ：
• 例： FP16（2 bytes），：

• 每 token 每层 bytes（16 KB）
• 每层总 MB
• 32 层合计 GB

注：使用 MQA/GQA 可显著降低 KV 占用；长上下文推理时尤为关键。

---

8. 位置与掩码家族

---

• RoPE（旋转位置）：在 上施加按维度成对旋转，内积隐式携带相对位置信息，现为工业主流。
• ALiBi：距离越远惩罚越大，外推性强、几乎零参数。
• 因果掩码：保证自回归正确性（GPT）。
• Padding 掩码：屏蔽填充位（批次内对齐）。

---

9. 模块在三类架构中的连接

---

• Encoder Block：LN → Self-Attn → Residual → LN → FFN → Residual
• Decoder Block：LN → Masked Self-Attn → Residual → LN → Cross-Attn → Residual → LN → FFN → Residual

---

10. 工程优化与实战要点

---

• FlashAttention / 张量并行 / FSDP / ZeRO
• MQA/GQA 降 KV 占用；RoPE+Pre-LN+RMSNorm+SwiGLU 是稳定组合
• 解码策略调参：Top-p/Top-k/Temperature

---

11. 附：易错点清单

---

1. 与 的维度对齐。
2. 忘记 Decoder 自注意力的因果掩码。
3. KV Cache 线性累积导致显存不足。
4. 绝对位置外推性差，RoPE/ALiBi 更稳。
5. Pre-LN 更稳；RMSNorm 参数更少、数值稳定。

​最后

我在一线科技企业深耕十二载，见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事，早已在效率与薪资上形成代际优势，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。

我整理出这套 AI 大模型突围资料包：

• ✅AI大模型学习路线图
• ✅Agent行业报告
• ✅100集大模型视频教程
• ✅大模型书籍PDF
• ✅DeepSeek教程
• ✅AI产品经理入门资料

如果你也想通过学大模型技术去帮助自己升职和加薪，可以扫描下方链接👇👇
​​

为什么说现在普通人就业/升职加薪的首选是AI大模型？

人工智能技术的爆发式增长，正以不可逆转之势重塑就业市场版图。从DeepSeek等国产大模型引发的科技圈热议，到全国两会关于AI产业发展的政策聚焦，再到招聘会上排起的长队，AI的热度已从技术领域渗透到就业市场的每一个角落。

智联招聘的最新数据给出了最直观的印证：2025年2月，AI领域求职人数同比增幅突破200% ，远超其他行业平均水平；整个人工智能行业的求职增速达到33.4%，位居各行业榜首，其中人工智能工程师岗位的求职热度更是飙升69.6%。

AI产业的快速扩张，也让人才供需矛盾愈发突出。麦肯锡报告明确预测，到2030年中国AI专业人才需求将达600万人，人才缺口可能高达400万人，这一缺口不仅存在于核心技术领域，更蔓延至产业应用的各个环节。

​​

资料包有什么？

①从入门到精通的全套视频教程

包含提示词工程、RAG、Agent等技术点

② AI大模型学习路线图（还有视频解说）

全过程AI大模型学习路线

③学习电子书籍和技术文档

市面上的大模型书籍确实太多了，这些是我精选出来的

④各大厂大模型面试题目详解

⑤ 这些资料真的有用吗?

这份资料由我和鲁为民博士共同整理，鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位，在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利，同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。

所有的视频教程由智泊AI老师录制，且资料与智泊AI共享，相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念‌，通过动态追踪大模型开发、数据标注伦理等前沿技术趋势‌，构建起"前沿课程+智能实训+精准就业"的高效培养体系。

课堂上不光教理论，还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作，把课本知识变成真本事‌！

​​​​

如果说你是以下人群中的其中一类，都可以来智泊AI学习人工智能，找到高薪工作，一次小小的“投资”换来的是终身受益！

应届毕业生‌：无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。

零基础转型‌：非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界‌。

业务赋能 ‌突破瓶颈：传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型‌。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓**

​