很多人用了很久深度学习，但如果你问他"模型在计算机里到底是什么"，他会开始含糊——“就是一个神经网络嘛”、“就是个 AI 嘛”。这一章我们就把这个问题说清楚。画面里这台标着"MODEL"的机器就是本课的主角。车间里的所有东西都是为了描述它：左边墙上那张蓝图是网络结构，地面传送带上的零件箱是参数权重，传送带从入口走到出口的过程是一次推理。蓝色机器人导师站在旁边，扮演车间主任——它会贯穿这个系列的每一

把模型拆成了参数和网络结构，数据在传送带上流动。但那些流动的"数据箱"到底是什么格式？装了多少东西？怎么描述它的规格？这一章专门回答这个问题。你做 AI Infra，打交道最多的不是模型的数学原理，而是数据的形状。报错了先看 shape，优化了先算 shape，做显存估算要从 shape 算起。这一章从最基础的"一个数"开始，一路讲到 forward pass 里 shape 怎么一层层变化。读完

好了，逛完了所有的工位，咱们往后退一步，再看看整个车间。其实再复杂的大模型，也就是把咱们刚才看的这些算子，像搭积木一样串联起来。比如一个标准的 Transformer Block，大概也就是：进门先做个 Norm，然后跑两个 Linear 算 Attention，再做个 Norm，最后跑两个 Linear 算 MLP。咱们 AI Infra 工程师看一个网络，其实视角很简单：第一步，认出它是由哪些

最后看这幅决策全景图。以后接到模型任务，在分叉路口，先认准方向。如果是走左边去搞推理，你脑子里想的就是怎么管理瘦身后的显存（比如优化 KV cache），怎么把吞吐量拉高，怎么降低延迟让用户等得少一点。如果是走右边去搞训练，面对那四座大山（特别是庞大的优化器状态），你想的就得是怎么做分布式，怎么把梯度在多张卡之间切分和同步，怎么抠下每一点显存来塞进更大的 batch。路选对了，账本才能算对，后面要

咱们拿大家最熟悉的 7B 模型（比如 Llama-2-7B）来实操一下。70 亿个参数，现在业界默认的发布格式基本都是 FP16。70亿×2字节140亿字70亿 \times 2字节 = 140亿字70亿×2字节140亿字，约等于 14GB。你看右边那张 A100 的对比图，14GB 的权重放进 80GB 的显存条里，也就是占了底下的一小截。这就是为什么大家说推理一个 7B 模型，单张卡轻轻松松。

回过头来看，为什么深度学习里的算子能如此完美地契合 GPU 这套并行逻辑？关键就在于——深度学习的大部分计算，全都是矩阵乘法（Linear、Attention 基本上全是它）。你看中间这个拆解图：算一个输出矩阵 C，它里面的每一个小格子，只和 A 的某一行以及 B 的某一列有关，和其他格子完全独立。这意味着什么？意味着这几万个输出格子，可以直接分配给 GPU 里的几万个线程，大家不用互相商量，不用

一段后台工作线程的代码，Debug 模式下跑得好好的，切到 Release 就停不下来了。排查了一圈，有人跟你说"加个volatile就行"。你加上去，果然好了。然而，这种看起来“跑正常了”的现象在底层逻辑上是根本经不起推敲的。这段代码在 Debug 编译下表现正常，是因为 Debug 模式通常不做激进的优化，编译器老老实实地每次循环都从内存里读stop。一旦开了优化（-O2或 Release 模

很多人用了很久深度学习，但如果你问他"模型在计算机里到底是什么"，他会开始含糊——“就是一个神经网络嘛”、“就是个 AI 嘛”。这一章我们就把这个问题说清楚。画面里这台标着"MODEL"的机器就是本课的主角。车间里的所有东西都是为了描述它：左边墙上那张蓝图是网络结构，地面传送带上的零件箱是参数权重，传送带从入口走到出口的过程是一次推理。蓝色机器人导师站在旁边，扮演车间主任——它会贯穿这个系列的每一

在编程和系统架构设计中，遵循一系列成熟的设计原则是比较重要的。本文主要整理了一些通用的原则以及C++中特有的原则和常用的设计模式，以指导设计出优秀的架构。

从SFINAE（Substitution Failure Is Not An Error）出发，聊聊C++模板元编程的进化史，看看现代C++如何让泛型编程变得更优雅。