主要方法是将Q K V用一个相对低秩的矩阵来存储，可以降低显存空间，以及一部分计算量， 为解决位置相关的信息丢失问题，将压缩后的QK又单独concat。MLA和MHA的区别是QKV计算的过程不同，其后的Attention计算以及linear流程基本是一致的。图中可以看到tokens输入的d维度是7168，q_down压缩之后的维度是1536+576，q_up解压后的维度是32*（128+64）=6

zero-1、zero-2、zero-3 是deepspeed的配置方法，对应megatron也有相应的方法，Megatron-LM 的实现方式：Distributed Optimizer（分布式优化器）。等效于 ZeRO-1，Megatron 的 Distributed Optimizer 默认行为就是将优化器状态（Optimizer States）均匀地切分并分布在数据并行（DP）组的所有 G

本文重点探讨长文本训练的CP（Context Parallelism）技术及其与TP（Tensor Parallelism）、SP（Sequence Parallelism）的结合。当处理超长上下文（如1M token）时，CP与TP正交，SP=CP。在TP=1时，CP将输入按token维度切分，通过all-gather获取全局K/V；在TP>1时，CP与TP协同工作，矩阵按列切分到各GPU

DeepSeek-V3的训练使用了：整个训练过程（包含预训练、上下文扩展和后训练）在2048张H800 GPU上完成，总计耗时约，成本约，这在同类模型中极具性价比。根据DeepSeek官方技术报告及多方技术解读，DeepSeek-V3在训练阶段采用的。。将256个路由专家分布到不同GPU上，每张卡托管约4个专家。

标志事件：1980年， DEC（大型机小型机生产商）落地XCON系统，解决人工配置运维问题，年处理超过8万份订单，准确率高达95%-98%，为公司节省3千万美元/年。时间：2017年Google 的几位研究员，提出Transformer架构，解决了传统神经网络处理长序列数据的难题，奠基了在自然语言处理领域的理论基础。2023年-2024年，国内大厂诞生练丹热潮，基础大模型，百度文心一言，阿里通义千

层/组件输入形状输出形状核心功能[B, S][B, S, D]将离散token转为连续向量[B, S, D]注入位置信息[B, S, D]计算输入序列内部的上下文关系[B, S, D]非线性变换，特征加工[B, T, D]计算已生成输出序列的内部关系[B, T, D]让解码器关注编码器信息[B, T, D]非线性变换，特征加工[B, T, D][B, T, V]产生下一个词的概率分布关键记忆点维度

文章摘要：本文对比了传统Dense大模型和MoE大模型在并行计算方式上的差异。传统模型采用TP切分，Attention和FNN部分都需进行前向和反向各一次AR计算。而加入SP并行后，计算模式发生变化：前向的g{}变为AG，反向的g{}变为RS。文中以FNN部分为例说明计算模式转变，指出Attention部分也可采用类似处理方式。这反映了模型并行计算策略的演进过程。

因为训练可以“靠老师”，推理还得“靠自己”，这样推理时遇到的错误输出对于下次推理来说就是在训练数据分布之外（out of distribution）的异常输入，所以会导致用Teacher Forcing模式训练出来的模型在训练环节和预测环节存在行为差异。具体来说，Teacher Forcing就是每次推理给解码器输入时，不使用前次推理的输出作为下一次推理的增加输入，而是使用训练标签的真值（grou