DeepSeek发布mHC新架构：解决超连接训练不稳定问题

1月1日，DeepSeek于今日下午公开一篇新论文，提出一种名为mHC（流形约束超连接）的全新架构。该研究聚焦于解决传统超连接在大规模模型训练过程中存在的训练不稳定问题，同时延续其带来的显著性能提升优势。

论文共有三位第一作者：解振达（Zhenda Xie）、韦毅轩（Yixuan Wei）以及曹焕奇（Huanqi Cao）。值得注意的是，DeepSeek创始人兼首席执行官梁文锋亦位列作者之中。

摘要部分主要内容如下：

近年来，以超连接（HC）为代表的结构通过拓展残差流的宽度并引入多样化的连接方式，突破了过去十年中广泛使用的标准残差连接范式。尽管这类方法带来了明显的性能增益，但其连接模式的多样化本质上削弱了残差连接所具备的恒等映射特性，进而引发训练过程中的严重不稳定性、可扩展性受限，并导致较高的内存访问开销。

为应对上述问题，研究团队提出了流形约束超连接（mHC），这是一种通用框架，能够将超连接中的残差连接空间投影至特定流形上，从而恢复恒等映射属性，同时结合精细化的基础设施优化策略，保障整体计算效率。

实验结果表明，mHC在大规模训练场景下表现稳定，不仅实现了可观的性能提升，还展现出优异的可扩展能力。研究团队认为，mHC作为对超连接机制的灵活且实用的改进方案，有望推动对神经网络拓扑结构设计的深入探索，并为基础模型的发展提供新的技术路径。

相关论文可通过以下链接获取：

https://huggingface.co/papers/2512.24880

https://arxiv.org/abs/2512.24880