创新说明3:1 比例混合 Linear Attention (Mamba SSM) 与 Full Self-Attention，兼顾 O(n) 效率与全局建模超大规模 MoE512 Expert + Shared Expert，每层 Top-10 路由，总参数 ~400B 但激活量仅 ~15-20BM-RoPE多模态旋转位置编码，三段式编码（高/宽/时间），原生支持图像与视频的空间-时序位置MTP

DeepSeek-V3.2是一款在高计算效率与卓越推理能力间取得突破性平衡的先进模型，基于以下关键技术突破：DeepSeek 稀疏注意力（DSA）： 引入DSA高效的注意力机制，它显著降低了计算复杂性，同时保持了模型性能，特别针对长上下文场景进行了优化。可扩展的强化学习框架： 通过实施强大的 RL 协议并扩展后训练计算，DeepSeek-V3.2 的表现与 GPT-5 相当。

创新说明3:1 比例混合 Linear Attention (Mamba SSM) 与 Full Self-Attention，兼顾 O(n) 效率与全局建模超大规模 MoE512 Expert + Shared Expert，每层 Top-10 路由，总参数 ~400B 但激活量仅 ~15-20BM-RoPE多模态旋转位置编码，三段式编码（高/宽/时间），原生支持图像与视频的空间-时序位置MTP

LoRA的核心计算分为“降秩（A矩阵）+升秩（B矩阵）+缩放+叠加”四步，对应→的调用链；sgmv_*函数负责处理多序列的LoRA ID扩展，bgmv_*函数负责核心的矩阵乘法；分片版函数（*_slice）是显存优化手段，适配超大模型/超长序列的推理；变量名在中是笔误，实际对应A矩阵，需注意代码实现的细节；add_inputs参数控制“叠加”还是“赋值”，对应LoRA公式中WxBAxWx + BA

LoRA的核心计算分为“降秩（A矩阵）+升秩（B矩阵）+缩放+叠加”四步，对应→的调用链；sgmv_*函数负责处理多序列的LoRA ID扩展，bgmv_*函数负责核心的矩阵乘法；分片版函数（*_slice）是显存优化手段，适配超大模型/超长序列的推理；变量名在中是笔误，实际对应A矩阵，需注意代码实现的细节；add_inputs参数控制“叠加”还是“赋值”，对应LoRA公式中WxBAxWx + BA

LoRA的核心计算分为“降秩（A矩阵）+升秩（B矩阵）+缩放+叠加”四步，对应→的调用链；sgmv_*函数负责处理多序列的LoRA ID扩展，bgmv_*函数负责核心的矩阵乘法；分片版函数（*_slice）是显存优化手段，适配超大模型/超长序列的推理；变量名在中是笔误，实际对应A矩阵，需注意代码实现的细节；add_inputs参数控制“叠加”还是“赋值”，对应LoRA公式中WxBAxWx + BA

并行优化：通过张量并行（TP）切分线性层/注意力头，流水线并行（PP）切分解码器层，适配大模型多GPU推理；效率优化：融合QKV/gate-up投影、KV缓存、RoPE优化，减少计算和通信开销；兼容性：兼容HuggingFace的Qwen2权重，支持量化、LoRA、超长上下文；推理专属：无训练相关代码，全部为推理优化（Pre-LN、残差连接、缓存管理）。

1. 模型概述及场景 DeepSeek-V3.2是一款在高计算效率与卓越推理能力间取得突破性平衡的先进模型，基于以下关键技术突破： DeepSeek 稀疏注意力（DSA）： 引入DSA高效的注意力机制，它显著降低了计算复杂性，同时保持了模型性能，特别针对长上下文场景进行了优化。 可扩展的强化学习框架： 通过实施强大的 RL 协议并扩展后训练计算，DeepSeek-V3.2 的表现与 GPT-5 相