什麼是 DeepSeek MHC？

MHC 代表流形約束超連接，這是 DeepSeek 設計的一種新型神經架構，用於穩定超大規模模型的訓練。

MHC 如何提高性能？

通過將層輸出約束到特定流形，MHC 防止特徵崩潰，並允許模型在網絡更深處保持高秩表示，從而提高推理能力。

DeepSeek 尚未發布 MHC 的完整代碼，但預計將成為 2026 年 3 月 V4 開放權重發布的一部分。

DeepSeek V4 架構

流形約束超連接。從殘差連接的範式轉變。

MHC（流形約束超連接）是一種新型連接模式，旨在解決超深 Transformer 中的「表示崩潰」問題。與簡單相加梯度的傳統殘差連接（ResNet）不同，MHC 對信息流施加幾何約束，確保標記表示在整個網絡深度中保持在特定的多樣化流形上。

傳統 ResNetDeepSeek MHC

圖 1：傳統與流形約束架構

傳統 ResNet

梯度經常在深層中爆炸或消失，導致不穩定。

DeepSeek MHC

使用 Sinkhorn-Knopp 歸一化嚴格限制梯度範數，確保即使在 1000 多層中也能平滑收斂。

DeepSeek-V4 在每個注意力塊內使用迭代 Sinkhorn-Knopp 算法。這強制注意力矩陣為雙隨機的，有效地將潛在狀態投影到 Birkhoff 多胞體上。這種流形約束充當強大的正則化器，允許 V4 學習更抽象的推理模式，而沒有無界梯度的噪聲。