想弄懂 Transformer 和 Self-Attention，很多教程先讲架构图和公式，读完能复述，但合上页面推不出来。这篇换个顺序：先抛一个问题，用一个最小的数字例子算一遍，再看为什么会需要下一个机制。内容来自我做的一套 34 课大模型课程的第 1 课，一共 6 个问题，从 RNN 的问题一路走到 GPT 逐字生成。

• 在线阅读（免登录、手机可看）：https://zhuangzhaoyeye.github.io/llm-course/
• 源码（MIT 许可）：https://github.com/zhuangzhaoyeye/llm_course

问题 1：RNN 为什么记不住远处的词？

RNN 一个词接一个词地读。反向传播时，梯度要沿着时间步一路传回去，每传一步都要乘一个系数。假设这个系数是 0.9：

传了几步	梯度还剩
1	0.9
10	0.9¹⁰ ≈ 0.35
50	0.9⁵⁰ ≈ 0.005

50 步以后只剩 0.5%，句首的词对训练几乎没有影响。另外它必须等前一个词算完才能算下一个，没法并行。所以我们需要一种方式，让每个词能直接看到任何其他词，而且一次算完。

问题 2：Self-Attention 怎么让相隔很远的词直接比对？

用一个只有两个词的句子"我吃"，每个词先变成 Q、K、V 三个向量（可以理解成：Q 是"我在找什么"，K 是"我能提供什么"，V 是"选中我就给你的内容"）。数值是为了演示取的：

词	Q	K	V
我	[0.6, 0.2]	[0.4, 0.7]	[0.8, 0.3]
吃	[0.3, 0.9]	[0.1, 0.5]	[0.6, 0.2]

“我"去看"我"和"吃”，分数是 Q 和 K 的点积：

• Q我·K我 = 0.6×0.4 + 0.2×0.7 = 0.38
• Q我·K吃 = 0.6×0.1 + 0.2×0.5 = 0.16

再除以 √d_k（这里 d_k=2，√2≈1.41）得到 0.27 和 0.11，过 softmax 变成权重 [0.54, 0.46]，最后用权重对 V 加权求和：

0.54×[0.8, 0.3] + 0.46×[0.6, 0.2] ≈ [0.71, 0.25]

这个新向量同时带上了"我"和"吃"的信息。一次矩阵运算就能把所有词对比完，不再一步步传。

问题 3：生成时不能看后面的词，限制加在哪？

加在上一步算出的分数矩阵上。句子"我爱你"，正常情况下"我"能看到后面的"爱"和"你"，训练时等于偷看答案。做法是把"列号大于行号"的格子换成负无穷，再过 softmax：

	我	爱	你
我	1.0	0	0
爱	0.40	0.60	0
你	0.25	0.30	0.45

为什么是负无穷而不是 0？填 0 的话，softmax 后第一行会变成 [0.45, 0.27, 0.27]，被遮住的词仍然分到了权重。只有 e^(-∞)=0 才是真正的"完全忽略"。

问题 4：同一个 Transformer，为什么分出 BERT 和 GPT？

区别在于要不要挡住未来：不挡的是 BERT（双向，做完形填空），必须挡的是 GPT（单向，逐字接龙）。训练方式不同，每次"教"到的位置数也不同。以 40 个 token 的句子为例：

• BERT 只遮 15% 的词来预测：40 × 0.15 = 6 个位置
• GPT 除第一个词外每个位置都在预测下一个词：40 − 1 = 39 个位置

BERT 训练时永远有左右两边的上下文，所以让它"只看左边猜右边"是它没学过的事。这不是能力问题，是训练方式的问题。

问题 5：多开几个注意力头，多看到了什么？

按原论文的设置，d_model=512，8 个头，每个头分到 512/8=64 维，各自算完再拼回 512 维，总计算量和单头差不多。好处是每个头可以专注一种关系。比如"苹果很甜，我昨天买了三斤"里，“苹果"同时和"甜”（属性）、“买”（动作）、“斤”（数量）有关。单头只有一个权重分布，三种关系互相稀释；多头里不同的头可以分别把 55%、62%、72% 的注意力给对应的词（这组权重是课程里为了演示设的）。

问题 6：解码时什么被重复计算了？

GPT 生成"我爱吃苹果"要一步步来：输入 [BOS] 得到"我"，输入 [BOS, 我] 得到"爱"……直到预测出结束符 EOS。每一步都要把前面所有词的 K 和 V 重新算一遍：

• 5 步里，不缓存的话累计 (1+2+3+4+5)=15 次，缓存之后只要 5 次，省 67%
• 序列拉长到 100 步，省 98%

这就是 KV Cache：把算过的 K 和 V 存下来复用。注意这里只数了 K/V 投影，注意力打分本身每一步仍要和全部旧词比，所以整体计算量省得没这么多。

小结

问题	机制	一句话
RNN 记不住远处	梯度连乘衰减	0.9⁵⁰ ≈ 0.005
怎么直接比对	Self-Attention	Q·K → 缩放 → softmax → 加权 V
不能偷看未来	Causal Mask	填负无穷，不是 0
BERT 与 GPT	训练目标不同	遮 15% 对比逐字预测
多头	每头专注一种关系	512 = 8 × 64
重复计算	KV Cache	15 次变 5 次

参考与说明

• Self-Attention 与 Transformer：Vaswani 等，Attention Is All You Need，2017，https://arxiv.org/abs/1706.03762
• BERT：Devlin 等，2018，https://arxiv.org/abs/1810.04805
• GPT-3：Brown 等，2020，https://arxiv.org/abs/2005.14165
• 文中数字（梯度衰减、注意力分数与加权、mask 后的 softmax、监督位置数、KV 投影次数）我都用代码独立复算过。带"为了演示取的"的数值是示意值，不是真实模型的输出。
• 说明：这套课程由 AI 在我设计的规则下生成，再经过脚本检查和独立审查；审查时发现过不少问题，已写在仓库 README 里。如果你发现错误，欢迎在仓库提 Issue，写清位置，我会逐条核实。

继续学

完整课程有 34 课，从 Transformer 一路讲到训练与推理工程、Agent。每张卡片后面还有 AI 助教，可以接着追问（每人每天有次数限制）。

• 课程：https://zhuangzhaoyeye.github.io/llm-course/
• 源码：https://github.com/zhuangzhaoyeye/llm_course ，觉得有帮助的话欢迎点个 Star