随着大语言模型向百万级上下文窗口演进，标准 Transformer 架构在训练稳定性、长程依赖建模和推理效率方面面临严峻挑战。DeepSeek-V4 针对这些痛点，提出了多项架构级创新，包括流形约束的超残差连接（mHC）、压缩稀疏注意力（CSA）与重度压缩注意力（HCA）混合机制等。本文将从标准残差连接的局限性出发，逐步解析这些技术的设计动机与实现原理。

随着大语言模型向百万级上下文窗口演进，标准 Transformer 架构在训练稳定性、长程依赖建模和推理效率方面面临严峻挑战。DeepSeek-V4 针对这些痛点，提出了多项架构级创新，包括流形约束的超残差连接（mHC）、压缩稀疏注意力（CSA）与重度压缩注意力（HCA）混合机制等。本文将从标准残差连接的局限性出发，逐步解析这些技术的设计动机与实现原理。

随着大模型训练对计算效率和显存利用率的要求不断提高，PyTorch 的 torch.compile 机制成为优化模型执行的关键技术。DeepSeek V4 作为新一代大规模语言模型，在 Ascend NPU 上进行训练时，需要适配 torch_npu 的 DVM（Dynamic Vector Machine）编译后端，以充分发挥硬件性能。本文记录了在适配过程中遇到的一系列问题、分析思路及解决方案，