1. 画出 Transformer 三大结构，区分 Encoder/Decoder/Encoder-Decoder、适用业务

1）Encoder（代表：BERT） 结构：双向自注意力，每一层能同时看见前文 + 后文全部 token，没有生成掩码。 适合理解类任务：文本分类、实体识别、情感分析、知识库检索。
2）Decoder（代表：GPT/Llama3/Mistral） 结构：单向自回归注意力，下三角掩码，只能看到上文，看不到未来未生成的字；逐字输出文本。 适合生成类业务：对话问答、长文摘要、代码生成、文案写作。
3）Encoder-Decoder（代表：T5、BART） 编码器处理输入原文，解码器基于编码器输出逐句生成；双向编码 + 单向解码组合。 适合转换类任务：机器翻译、长文档摘要、Text-to-SQL（把自然语言转 SQL 语句）。

2. Self-Attention 完整计算流程，为什么点积除以√d_k？

步骤：

1. 输入文本经过嵌入层，得到每个 token 向量；
2. 用 3 个可学习矩阵，分别映射出 Q（查询）、K（键）、V（值）三个向量；
3. Q 和所有 K 做矩阵点积，算出每两个 token 的相似度分数；
4. 除以√d_k（d_k 是 Q/K 向量维度）：向量维度越大，点积结果数值会爆炸，Softmax 后梯度极小、训练难收敛；除以根号维度缩放数值，稳定训练；
5. Softmax 归一化，所有权重加和等于 1，代表每个 token 的关注权重；
6. 用权重加权求和所有 V 向量，得到当前 token 注意力输出。

3. Decoder 下三角 Mask 作用，单向 / 双向注意力本质区别

下三角掩码是一个矩阵：矩阵右上角（未来 token 位置）全部设为负无穷，经过 Softmax 后权重直接变成 0。 效果：生成第 i 个字时，模型完全看不到 i 之后的文字，防止作弊偷看未来内容，保证逐字生成逻辑。

• 双向注意力：上下文互相可见，擅长读懂整段文本；
• 单向自回归：只能看上文，只能一个字接一个字续写，专门做生成。

4. 多头注意力相比单头的优势

单头注意力只能学习一种语义关联（比如只关注相邻词语法）； 多头把 QKV 切分成多组独立小向量，每个头独立捕捉不同维度关系： 头 1：词语语法依赖；头 2：实体指代关系；头 3：长距离逻辑关联； 最后拼接所有头的结果，融合多维度语义，模型理解能力大幅提升。

5. 位置编码必要性，正弦 PE / RoPE / ALiBi 原理、适用模型

Transformer 没有 RNN 循环结构，无法天然识别文字顺序，必须手动注入位置信息，否则 “我打他” 和 “他打我” 模型会认为完全一样。

1. 正弦余弦 PE（原始 Transformer/T5） 用固定三角函数生成位置向量，直接加到词嵌入上；缺点：超长文本外推效果差，Llama 系列已淘汰。
2. RoPE 旋转位置编码（Llama3、Qwen 主流） 不单独生成位置向量，直接旋转 Q、K 向量的坐标，旋转角度和位置绑定；天然支持超长上下文外推，长文本效果更好。
3. ALiBi（部分 Mistral 变体） 无显式位置向量，在注意力分数上加距离偏置：距离越远，注意力权重自动衰减；显存开销最低，适合超长滑动窗口场景。

6. FFN 前馈网络、SwiGLU 相比 ReLU 优势

FFN 独立对每一个 token 做非线性变换：两层线性层，中间加激活函数。 ReLU 缺点：输入负数梯度直接归零，容易神经元死亡； GeLU 引入轻微曲线，缓解神经元死亡； SwiGLU 把输入拆分为两路做门控相乘，表达能力更强，现在 Llama/Qwen 全部默认 SwiGLU。

7. Pre-LN vs Post-LN、残差连接作用

残差公式：输出 = 输入 + 子层计算结果 作用：搭建几十层深层模型时，解决梯度消失，梯度可以顺着残差通路无损回传。

• Post-LN（原始 Transformer）：先计算注意力 / FFN，做完再归一化；深层训练不稳定；
• Pre-LN（Llama 通用）：先归一化，再送入注意力层，训练收敛更稳定，是当前大模型标准。

8. Llama3 / Qwen3 / ChatGLM4 / Mistral 核心差异，业务适配

1. Llama3：纯 Decoder、RoPE、GQA、SwiGLU；数学、代码通用能力强；商用有版权限制；适合通用对话、代码生成。
2. Qwen3：中文原生优化，超大上下文窗口，配套多模态；国内商用无授权约束；企业中文问答、长文档首选。
3. ChatGLM4：前缀双向注意力混合架构；长文档知识库问答、检索增强场景适配度最高。
4. Mistral：滑动窗口注意力 + GQA，KV 缓存显存占用极低，推理速度快；适合高并发、低成本线上服务。

9. GQA 分组查询注意力原理，对比 MHA

MHA 多头注意力：每个头都有独立 Q、K、V；头数量多，K/V 矩阵显存巨大。 GQA 分组查询：多组 Q 共享同一组 K/V，大幅减少 K/V 参数量；显存占用减半，推理速度提升，精度几乎不下降，现在 7B 以上模型标配。

10. 为什么生成任务统一用 Decoder-only？Text-to-SQL 为什么偶尔用 Encoder-Decoder？

Decoder-only 结构极简，训练、推理链路短，长文本生成、对话、代码效果碾压编码解码结构，工业落地成本最低，因此成为生成主流。 Text-to-SQL 需要把复杂自然语言完整理解再转换成结构化 SQL 语句，部分场景用 Encoder-Decoder 能更好对齐自然语言与 SQL 语法规则。

11. RoPE 外推长上下文优势

正弦 PE 位置编码只能训练时固定长度，超出长度后效果暴跌；RoPE 依靠向量旋转的数学特性，推理时直接支持比训练更长的文本，不用重新微调适配长文本。