DeepSeek mHC 架构解读：重塑残差连接，通向更稳定的超大规模训练

引言

2026年初，DeepSeek 发布了一篇重磅论文，提出了一种名为 mHC（Manifold-Constrained Hyper-Connections，流形约束超连接） 的新架构。这篇论文不仅让 DeepSeek 创始人梁文锋亲自署名，更在深度学习基础设施层面提出了一个根本性问题的解法——当模型规模急剧膨胀时，如何让连接模式在"丰富性"与"稳定性"之间取得优雅的平衡？

背景：从残差连接到超连接

过去十年，残差连接（Residual Connection）是深度学习的基石。它的核心思想简洁而强大——在每个层级的输出上加上原始输入，形成一条"恒等映射捷径"：

y = F(x) + x

这条捷径让梯度可以无衰减地回流，使得训练上百层的网络成为可能。Transformer、ResNet、GAN，几乎所有主流架构都在这个范式下运行。

但残差连接有一个隐含假设：信息流动的路径是单一且固定的。近年来研究者开始探索打破这一假设——超连接（Hyper-Connections, HC） 应运而生。HC 拓宽了残差流的"宽度"，在层与层之间构造多样化的连接模式，让信息可以通过多条路径并行流动。实验表明，HC 能带来显著的性能增益。

然而，问题也随之而来。

超连接的隐忧：恒等映射的丧失

标准残差连接的美妙之处在于，最坏情况下它至少能保证恒等映射——即使 F(x) 训练得很差，网络也不会比输入更糟。但 HC 引入的多样化连接模式，从根本上削弱了这一特性。

想象一下：原来只有一条传送带，工人把产品放上去，至少保证不会弄丢；现在有了十条交错缠绕的传送带，效率提升了，但产品可能在复杂的路径中"丢失"——训练过程中梯度爆炸、损失函数剧烈震荡的风险显著增加。DeepSeek 团队在论文中明确指出：连接模式的多样化破坏了恒等映射特性，导致严重的训练不稳定性和受限的可扩展性。

更棘手的是，HC 还带来了显著的内存访问开销——多样化的连接意味着更多的数据搬运，而内存带宽本就是大规模训练的瓶颈之一。

mHC 的核心思想：用流形约束"驯服"超连接

DeepSeek 的解法出人意料地优雅：不去限制连接的丰富性，而是约束连接矩阵所张成的空间。

具体来说，mHC 将 HC 的残差连接空间投影到一个特定的**流形（Manifold）**上。这里的流形可以理解为高维空间中的一个"光滑曲面"，在这个曲面上，恒等映射特性被自然恢复。

技术实现上，mHC 引入了一个关键约束——双随机矩阵（Doubly Stochastic Matrix）。通过将连接权重矩阵投影到双随机矩阵构成的流形上，mHC 保证了前向传播时信息的保守性（每行每列之和为1），从而在数学上严格恢复了恒等映射的不变性。

用通俗的话说：mHC 允许信息在多条路径间自由流动，但加了一条"总账必须平衡"的铁律——流入和流出在整体上始终守恒。这就像给十条传送带装上了智能调度系统，货物可以走任意路径，但总调度保证了"进多少出多少"。

论文的架构示意图清晰地展示了三者的区别：

架构	连接模式	恒等映射保证	训练稳定性
标准残差连接	单一捷径	天然保证	高
超连接(HC)	多样化并行	被削弱	低
流形约束超连接(mHC)	多样化并行 + 流形约束	数学严格恢复	高

工程实践：开销可控的规模化训练

理论上的优雅如果无法落地，终究只是空中楼阁。mHC 最令人信服的一点在于其工程实现的高度优化。

论文报告，在扩展率 r=4 的情况下，mHC 仅带来 6.7% 的额外时间开销。这个数字意味着：用不到 7% 的计算成本，换回了 HC 本应获得但实际丢失的性能增益——这是一笔教科书式的"花小钱办大事"。

高效实现的关键在于 基础设施级优化。DeepSeek 团队没有简单地在框架层实现流形投影，而是深入到 CUDA kernel 层面做算子融合和内存布局优化，将投影操作的计算开销压缩到了极致。

启示与展望

mHC 的贡献不止于一个具体的算法改进。它重新唤起了社区对宏观架构设计的关注——在 Scaling Law 驱动下，业界很容易陷入"堆参数量、堆数据量"的惯性，而忽略了架构层面的创新杠杆。

论文特别指出，双随机矩阵只是流形约束的一种可行选择。未来可以探索针对特定学习目标设计的差异化几何约束——不同的流形可能带来不同的"可塑性-稳定性"权衡。这打开了一个新的研究维度：架构设计的几何化。

对于工程实践者，mHC 提供了一个务实的启发：当你发现某个改进"理论上更好但训练不稳定"时，解决问题的钥匙可能不在于放弃改进，而在于找到那个保护恒等映射的"约束流形"。

结语

DeepSeek 的 mHC 架构是一个典型的"基础研究驱动工程突破"的案例。它告诉我们，在 AI 系统日趋复杂的今天，重新审视那些看似已解决的问题——比如残差连接——仍然可能挖出金矿。流形约束超连接或许不会成为下一个 Transformer，但它展示的方法论——用严格的数学约束驯服丰富的连接模式——将在超大规模训练时代持续回响。

---

作者：小马

技术标签：#DeepSeek #深度学习 #残差连接 #超连接 #大规模训练 #mHC #AI架构 #流形约束