近期，HuggingFace 发布超 200 页超长技术博客，系统性分享训练先进 LLM 的端到端经验。

01 训练罗盘：Why→What→How

在投入技术细节（如何训练）前，提出关键问题：「你是否真的需要训练这个模型」？

鉴于世界级开源模型（如 Qwen、Gemma、Llama 等）不断涌现，多数人或许无需从头训练自己的模型。

• Why

文章列举不该训练模型的错误理由，如「我们有闲置算力」「别人都在做」「AI 是未来」，还提供流程图助你思考是否真要训练自己的模型。

发现现有模型不可用，提示词工程和微调均无法解决时，可考虑从头训练。定制化预训练适用于三个主要领域：

• 研究：

有明确科学问题待解答，如测试新优化器、探索模型能力（如仅用强化学习）、测试新数据集（如纯合成数据）。

• 生产：

业务有特定需求未被满足，如特定专业词汇或逻辑，特定硬件运行或严格延迟要求，受监管行业需对训练数据和模型行为完全控制与可追溯。

• 战略开源：

发现并能填补当前开源生态系统特定空白 。

• What

明确「Why」后可推导「训练什么 (What)」，如模型类型、大小、架构细节和数据混合。领域目标决定训练决策，如设备端运行选小型高效模型，有多语言需求用更大tokenizer词汇表，超长上下文选混合架构。决策分两阶段：规划，将「Why」的约束映射到模型规格；验证，通过消融实验测试选择。

文章指出成功 LLM 训练团队两个关键特质：

• 迭代速度：训练 LLM 是「边训练边学」过程，能快速频繁（如每季度）迭代训练新模型的团队进步更快。
• 数据管理：最优秀团队「痴迷高质量数据」，数据质量影响远超架构选择。

文章建议，预训练团队初期 2 - 3 人即可，关键是有足够算力并保持快速迭代。

02 每一个大型模型都始于一个小型消融

训练 LLM 前要做系列关键决策（架构、优化器、数据组合等）。人们常认为这些决策靠深思熟虑，但仅凭推理不够，LLM 行为常反直觉。

如用看似「最高质量」的 arXiv 科学论文数据，可能损害模型（尤其小模型）性能，因其太专业，缺通用文本多样性。

纯粹思考不行，答案是像经验主义者「运行大量实验」（消融实验）。

设置消融实验完整流程：

• 选择你的基线

不要从零开始，应该选择一个已被验证的、成熟的架构（如 Llama 3.1、Qwen3、Gemma3）作为起点，这样可以继承所有已知的优化和稳定性经验。

基线虽好，但非量身定制，需修改。不过，「任何架构改变都有风险」。所以要遵守「去风险」纪律：「除非测试证明有帮助，否则不要改动。」

修改难点在于组件多且相互作用，无法测试所有组合。正确做法是：一次仅测试一个有潜力的变更，有效就整合为新基线，再测下一个。

选择训练框架是关键技术决策，要在功能、稳定性和吞吐量间权衡。文章对比主流框架：Megatron-LM / DeepSpeed功能强、经实战检验，但代码库庞大复杂；TorchTitan更轻量级，易上手实验，不过较新；nanotron（作者自研）灵活性高，但开发测试投入大。

• 设计消融实验

实验必须足够快（以便快速迭代）和足够可靠（结果能外推到最终模型），有两种主要方法：

• 全尺寸模型，少量数据： 使用最终模型的尺寸（如 SmolLM3 使用 3B 模型），但在更少的 Token 上训练（如 100B 而非 11T）。
• 小型代理模型： 如果目标模型太大（如 1T 参数），则使用一个按比例缩小的代理模型（如 3B 模型）进行实验。

接下来文章介绍了其基准消融设置（1B 的 Llama 模型，训练 45B Token），并展示了配置文件的关键部分（数据、模型、优化器等）。

• 理解哪些有效：评估

文章指出，评估实验结果仅看训练 Loss 不可靠。如训练维基百科 Loss 低不意味模型能力强，换分词器会使 Loss 无法直接比较，需用更细粒度的下游评估。

可靠评估任务有四个标准：单调性、低噪声、超随机性能和排名一致性。

早期实验中，「完形填空（CF）」格式优于「多项选择（MCF）」，因后者（如 MMLU）在模型训练早期表现接近随机，无法提供有效早期信号。

消融实验价值不仅在于构建好模型，还为未来调试提供信心：主训练出错时，系统性实验结果助团队快速定位问题。

但此价值成本高昂，如 SmolLM3，消融和调试消耗的 GPU 时间超主训练一半。

03 模型架构设计

这部分阐述设计和确定 LLM 架构的完整决策过程，从高层目标到组件选择与超参数设置。

以 3B 参数的 SmolLM3 模型为例，展示从零构建模型「蓝图」。

深入探讨现代 Transformer 核心架构选择，指出当今模型（如 Qwen3、Gemma3 ）共享 Transformer 基础，通过组件改进（如 GQA、位置编码）解决内存、稳定性等问题。

• 注意力机制：推理瓶颈在于 KV 缓存，文章对比 MHA（标准、高内存）、MQA（极端压缩、可能损性能）和 GQA（分组查询）。消融实验表明，GQA 性能与 MHA 相当且节省 KV 缓存，是 SmolLM3 最终选择。
• 长上下文：探讨两种策略，一是文档掩码，训练「打包」数据时防止模型关注无关文档，对长上下文扩展重要；二是位置编码，标准 RoPE 长序列外推能力有限，SmolLM3 采用 NoPE（RNoPE）混合策略，交替用 RoPE 层（处理短上下文）和 NoPE 层（处理长距离检索），消融实验显示该方法不牺牲短上下文性能且为长上下文打基础。
• 嵌入共享：小模型 SmolLM3 嵌入层占比大，消融实验表明增加模型深度（更多层）比「解绑」输入输出嵌入层更有效，故采用嵌入共享。
• 稳定性：为防大规模训练崩溃，测试 Z-loss、QK-norm 等技术，SmolLM3 采用 OLMo2 技巧，移除嵌入层权重衰减提高稳定性。

文章对比了密集型、MoE（混合专家）和 Hybrid（混合模型）三种架构。MoE 通过稀疏激活（只激活部分「专家」）来用更少的计算换取更大的容量，但内存占用极高。Hybrid（如 Mamba）则通过线性注意力或 SSM 来解决 Transformer 在长上下文上的计算瓶颈。SmolLM3 因其「端侧部署」的目标（内存受限）而坚持使用密集型架构。

随后，文章转向了常被低估的Tokenizer。选择分词器涉及词汇量大小（影响压缩率和嵌入矩阵大小）和算法（BPE 最常用）。

文章引入了「Fertility」（每词平均 Token 数）和「连续词比例」作为评估指标。通过对比 Llama3、Gemma3、Qwen3 等，SmolLM3 最终选择了 Llama3 的 128k 词汇表，因为它在目标语言和模型大小之间取得了最佳平衡。

接下来，文章探讨了决定训练过程的核心要素：优化器、学习率和批量大小。文章指出，直接借用其他模型的超参数虽然简单，但可能不是最优的，因为这些值是针对特定的架构、数据和约束条件优化的。

最后回顾了关于模型规模（参数量 N）和数据量（Token 数 D）的经典权衡。

04 数据管理艺术

这部分阐述「数据策展的艺术」，强调在 LLM 训练中，数据决定模型「学到什么」，重要性超模型架构。模型架构决定学习方式，数据决定学习内容，数据质量差或「混合比例」不当，架构与超参数再好也无用。文章称，构建优秀数据集不仅要收集好数据，还要设计训练混合。

如增加代码数据比例（「上采样」）会减少其他数据比例，损害模型通用能力。像 SmolLM3 需 11T Token 超长训练，只用「最高质量」数据会致数据重复，有害模型性能。为解决平衡问题，现代 LLM 训练从「静态混合」（如 GPT-3）变为多阶段训练（如 Llama3、SmolLM2），动态改变数据混合比例。

其核心洞察是，模型的最终行为深受其在训练末期看到的数据的影响。因此，策略是：

• 在训练早期，使用丰富、多样化但质量稍低的数据（如网页文本）。
• 在训练末期（特别是在学习率衰减的「退火阶段」），引入稀缺、高质量的数据（如专业数学和代码数据集），以最大化其影响力。

何时改变混合比例常由性能驱动的干预决定，如模型数学能力停滞时，是引入更多高质量数学数据的信号。

确定数据配方依赖系统的消融实验，数据混合的消融实验须在目标模型规模（如 3B）上运行，因模型容量影响吸收不同数据的效果。

文章介绍两种实验方法：

从零开始的消融：用目标模型（如 3B）短期训练（如 100B Token）测试不同初始混合比例。

退火实验：测试多阶段课程的关键，从主训练（如 7T Token 处）取检查点，用新数据混合（如 40% 基线 + 60% 新数学数据）继续训练一小段时间（如 50B Token），验证后期引入新数据的有效性。

作者称，虽有 DoReMi 等自动优化方法，但实践中，仔细的手动消融实验仍是 SOTA 模型（含 SmolLM3）确定数据混合的最佳途径 。

文章最后以 SmolLM3 为例，展示了如何应用这些原则。

05 堪比「马拉松」的长周期训练

此时大部分工作已准备好，如验证的模型架构、确定的数据混合方案、调好的超参数。剩下是搭建基础设施（最后讲）后「开始」训练。训练周期长，要做好应对挑战的准备。

这部分讲训练前「飞行前检查」、过程中的意外状况及保持系统稳定的方法。

文章以启动 SmolLM3 前的「起飞前检查」清单为例，展示训练前准备，包括基础设施、评测系统、Checkpoint 与自动恢复机制、指标日志记录、训练配置复核等。尤其按「训练」按钮前，要仔细检查训练配置文件等，确保参数等正确。

即便准备充分，规模化训练仍会遇问题，如训练数小时内吞吐率下滑、引入新 dataloader 后损失曲线噪声化等，要及时应对。

此外，现代 LLM 预训练常采用多阶段训练策略，如 Qwen3 分三阶段，SmolLM3 类似，训练中引入高质量数据集、扩展上下文长度并动态调整 。

06超越基础模型——2025 年的后训练阶段

这部分介绍模型后训练（Post-training）。以 SmolLM3 为例，完成预训练（Pre-training）具备原始能力（raw ability）后，GPU 温度未降就进入后训练阶段。

在这一切开始前，像预训练阶段一样，问自己三个问题：

• 是否真需要训练？如今很多开源权重模型在不少任务上媲美闭源模型，部分可本地运行。若只想有通用助手，Hugging Face Hub 现成模型或许足够，无需重训。
• 是否有高质量、领域特定数据？后训练最大价值在特定任务或领域，通用模型表现不佳时，高质量专用数据可定向优化输出。
• 能否衡量成功标准？无清晰评估标准，无法判断后训练是否带来改进。

确定要后训练，思考想实现什么目标：严格执行指令的模型？多才多艺的助手？擅长特定任务的“思考引擎”？还是多语言通用对话体？明确目标才能选合适技术路线。

答案明确后开始训练，主要步骤：监督微调（SFT）注入核心任务能力；偏好优化（PO）从人类或 AI 偏好学习；强化学习（RL）提升模型可靠性与推理深度；数据筛选与整理（Data Curation）平衡数据多样性与质量；评估体系（Evaluation）跟踪进展、早发现性能回退。

以 SmolLM3 为例，它是优秀基础模型，发布前须后训练。混合推理模型兴起，但开源社区缺公开可复现训练配方。SmolLM3 后训练目标：打造实用高质量模型；贡献完整开源训练方案，与 Qwen3 的 1.7B 和 4B 模型并列前沿。

后训练实战要选框架、工具等，不同框架支持不同算法、微调方法、可扩展能力等。文章总结主要框架在后训练各环节支持范围及能力对比 。

在主要步骤阶段，文章解答为何几乎所有后训练流程都以监督微调（SFT）为起点，原因如下：

• 便宜：相比 RL，SFT 对算力要求低，短时间用较少 GPU 就能显著提升性能，无需大量消耗资源。
• 稳定：RL 对奖励设计和超参数极度敏感，SFT 则“开箱即用”，几乎不会崩溃。
• 是最好的基线：良好的 SFT 检查点通常能提供大部分所需性能提升，让后续如 DPO 或 RLHF 等方法训练更高效 。

07 基础设施：被忽视的关键一环

多数从事模型训练的人关注模型架构和数据质量，忽视底层基础设施，觉得「租几块 GPU，装上 Pytorch 就行」。实则不然，「预训练是蛋糕坯，后训练是糖霜和樱桃，基础设施是工业级烤箱」，没它一切皆无可能。

训练 SmolLM3 用 384 块 H100 GPU 近一个月，处理 11 万亿个 token，工程量浩大繁琐。

文章指出，对于基础设施，要了解 GPU 构成、层级工作方式、CPU 与 GPU 通信方式、获取 GPU 注意事项，以及长期任务前的测试方法 。

• CPU 与 GPU 之间的通信路径

在大型模型训练中，虽足够多且高速的 GPU 重要，但因 LLM 训练常持续数周甚至数月，持续追踪 GPU 健康状态是保持训练稳定性的关键。

文章以 SmolLM3 训练为例，列举 GPU 全面诊断工具：

GPU Fryer（内部工具）：GPU 压力测试工具，检测热降频、显存错误、性能异常等潜在问题。

NVIDIA DCGM（数据中心 GPU 管理器）：广泛使用的 GPU 诊断与监控工具，能深度检测，验证 GPU 硬件、监控性能、定位故障或功率异常原因。诊断范围包括计算单元完整性、PCIe 连接稳定性、内存完整性、热稳定性等。

最后，关于训练模型到底要用多少块 GPU，文章指出决策的核心在于训练时间、成本与扩展效率之间权衡的过程。用一个公式来估算就是：

所需总 FLOPs（训练模型计算量，取决于模型规模、训练 token 数和架构设计）、单 GPU 吞吐量（每张 GPU 实际每秒执行 FLOPs 数）、目标训练时长（期望训练完成时间）。

以 SmolLM3 为例，据 30 亿参数模型规模、11 万亿训练 token 数、约 4 周目标训练时间，代入 GPU 需求公式得约 379 GPUs。

计算结果指向约 375 - 400 张 H100 GPU 合理范围，实际部署 384 张 H100，既符合并行化策略，也为训练意外预留缓冲，确保模型约 4 周顺利完成训练。

而这也再次证明基础设施对于模型训练的重要性，不要忽视它！

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线科技企业深耕十二载，见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事，早已在效率与薪资上形成代际优势，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我们整理出这套 AI 大模型突围资料包：

• ✅ 从零到一的 AI 学习路径图
• ✅ 大模型调优实战手册（附医疗/金融等大厂真实案例）
• ✅ 百度/阿里专家闭门录播课
• ✅ 大模型当下最新行业报告
• ✅ 真实大厂面试真题
• ✅ 2025 最新岗位需求图谱

所有资料 ⚡️ ，朋友们如果有需要 《AI大模型入门+进阶学习资源包》，下方扫码获取~

① 全套AI大模型应用开发视频教程

（包含提示工程、RAG、LangChain、Agent、模型微调与部署、DeepSeek等技术点）

② 大模型系统化学习路线

作为学习AI大模型技术的新手，方向至关重要。 正确的学习路线可以为你节省时间，少走弯路；方向不对，努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划，带你从零基础入门到精通！

③ 大模型学习书籍&文档

学习AI大模型离不开书籍文档，我精选了一系列大模型技术的书籍和学习文档（电子版），它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。

④ AI大模型最新行业报告

2025最新行业报告，针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。

⑤ 大模型项目实战&配套源码

学以致用，在项目实战中检验和巩固你所学到的知识，同时为你找工作就业和职业发展打下坚实的基础。

⑥ 大模型大厂面试真题

面试不仅是技术的较量，更需要充分的准备。在你已经掌握了大模型技术之后，就需要开始准备面试，我精心整理了一份大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。

以上资料如何领取？

为什么大家都在学大模型？

最近科技巨头英特尔宣布裁员2万人，传统岗位不断缩减，但AI相关技术岗疯狂扩招，有3-5年经验，大厂薪资就能给到50K*20薪！

不出1年，“有AI项目经验”将成为投递简历的门槛。

风口之下，与其像“温水煮青蛙”一样坐等被行业淘汰，不如先人一步，掌握AI大模型原理+应用技术+项目实操经验，“顺风”翻盘！

这些资料真的有用吗？

这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理，现任上海殷泊信息科技CEO，其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证，服务航天科工、国家电网等1000+企业，以第一作者在IEEE Transactions发表论文50+篇，获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的技术人员，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

以上全套大模型资料如何领取？