什么是 DeepSeek MHC？

MHC 代表流形约束超连接 (Manifold-Constrained Hyper-Connections)，这是 DeepSeek 设计的一种新颖神经架构，用于稳定超大规模模型的训练。

MHC 如何提高性能？

通过将层输出约束到特定流形，MHC 防止特征坍缩，并允许模型在网络深处保持高秩表征，从而提高推理能力。

DeepSeek 尚未发布 MHC 的完整代码，但预计将作为 2026 年 3 月 V4 开放权重发布的一部分。

DeepSeek V4 架构

流形约束超连接。从残差连接到新范式的转变。

MHC (流形约束超连接) 是一种新颖的连接模式，旨在解决超深 Transformers 中的“表征坍缩”问题。与简单相加梯度的传统残差连接 (ResNets) 不同，MHC 对信息流施加几何约束，确保 Token 表征在整个网络深度中保持在特定的多样化流形上。

传统 ResNetDeepSeek MHC

图 1：传统架构 vs 流形约束架构

传统 ResNet

梯度通常在深层爆炸或消失，导致不稳定。

DeepSeek MHC

使用 Sinkhorn-Knopp 归一化严格限制梯度范数，即使在 1000+ 层也能确保平滑收敛。

DeepSeek-V4 在每个注意力块中利用迭代 Sinkhorn-Knopp 算法。这强制注意力矩阵为双随机矩阵，有效地将潜在状态投影到 Birkhoff 多胞体上。这种流形约束充当强大的正则化器，允许 V4 学习更抽象的推理模式，而没有无界梯度的噪声。