你需要做什么？"理解文本" → Encoder-Only (BERT 及其变体)- 情感分析、文本分类、NER、语义相似度- 优势：双向理解，精确的语义表示"生成文本" → Decoder-Only (GPT、LLaMa)- 写作、对话、翻译、代码生成- 优势：自回归生成，强大的涌现能力"输入→输出的结构化转换" → Encoder-Decoder (T5、BART)- 机器翻译、摘要、数据到文本

第一篇: Transformer 基础│ Self-Attention, Multi-Head, FFN, 位置编码│├──→ 第二篇: 三种分支│ ││ └──→ 第四篇: 对齐技术│ │ 为什么 Decoder-Only 赢了│└──→ 第三篇: 注意力优化│└──→ 第五篇: LLaMa (本文)│ 把所有技术组装到一起│ LLaMa 1/2/3 演进。

│ 算法 │ 核心特点 ││ PPO │ 经典在线 RL, 需要 4 模型, InstructGPT 使用 ││ │ 实现复杂, 显存大, 但效果成熟 ││ DPO │ 离线学习, 2 模型, 直接从偏好优化 ││ │ 最简洁, 但有分布偏移问题 ││ GRPO │ 在线学习, 2 模型, 组内相对优势 ││ │ 去掉价值模型, DeepSeek-R1 使用 ││ REINFORCE++ │ 在线

│ 算法 │ 核心特点 ││ PPO │ 经典在线 RL, 需要 4 模型, InstructGPT 使用 ││ │ 实现复杂, 显存大, 但效果成熟 ││ DPO │ 离线学习, 2 模型, 直接从偏好优化 ││ │ 最简洁, 但有分布偏移问题 ││ GRPO │ 在线学习, 2 模型, 组内相对优势 ││ │ 去掉价值模型, DeepSeek-R1 使用 ││ REINFORCE++ │ 在线

效率与鲁棒性的权衡：现有基于Transformer的局部特征匹配方法计算复杂度高（随关键点数量平方增长），难以满足实时性需求。Mamba（选择性状态空间模型）与RNN这种状态空间模型要比Transformer结构更容易感知顺序关系（位置信息），Transformer则是通过位置编码来感知顺序关系，Mamba与Transformer的混合结构可以同时捕捉全局和局部上下文，提升特征表达能力。这种算法通

│ 技术 │ 核心贡献 ││ SFT │ 用人工示范教模型如何响应指令 ││ │ 解决"会但不会听话"的问题 ││ RM (奖励模型) │ 学习人类偏好评判标准 ││ │ 从"写出好回复"到"判断好坏" ││ RLHF (PPO) │ 用强化学习优化模型，让回复获得更高奖励 ││ │ 效果最强，但实现复杂 ││ DPO │ 绕过 RM 和 PPO，直接从偏好数据优化 ││ │ 效果接近 RLHF，

VGGT是一种基于Transformer的多任务3D场景重建方法，其核心创新在于通过单次前向计算预测相机参数、深度图等3D属性，无需后处理优化。它采用交替的局部和全局注意力机制，支持从单个到数百个视图的灵活输入，所有预测结果均基于第一帧坐标系。相比传统依赖Bundle Adjustment的方法，VGGT在保持较高精度的同时显著降低了计算成本。实验表明，多任务统一训练比单任务训练效果更好，使用DI