DeepSeek Engram：打破 MoE 的局限，開啟「條件記憶」新時代

2026年3月2日 | 技術深度解析

在 DeepSeek V4 的眾多傳聞中，除了令人咋舌的代碼能力，最讓極客們興奮的莫過於那個神秘的新組件——Engram (印跡)。

今天，隨著 deepseek-ai/Engram 倉庫的悄然上線和論文 Conditional Memory via Scalable Lookup 的發布，我們終於得以一窺其真容。

如果不只是「又一個參數更大的 MoE」，那 Engram 到底解決了什麼問題？

1. 痛點：大模型不僅要「想」，還要「記」

傳統的 Transformer 就像一個極其聰明但沒有筆記本的天才。無論多麼簡單的知識（比如「巴黎的首都是哪裡？」），它都必須動用昂貴的神經網絡算力（Attention 和 MLP）去「計算」出來。

這帶來了兩個問題：

1. 算力浪費：用 GPU 算力去回憶靜態事實，就像用超級計算機查字典，大材小用。
2. 容量瓶頸：模型的參數既要負責「邏輯推理」，又要負責「知識存儲」。當模型要變大時，我們只能堆更多的 MoE 專家，但這會顯著增加 VRAM 佔用和訓練成本。

DeepSeek 的答案是：把「知識」和「推理」解耦。

2. 什麼是 Engram (印跡)？

簡單來說，Engram 是一個外掛的、基於查表的超級字典。

在神經網絡進行計算之前，Engram 模塊會先工作：

1. 它觀察當前的輸入文本（N-gram）。
2. 它直接在一個巨大的、靜態的表中進行 O(1) 複雜度的查找。
3. 查找到的向量（Memory）被直接注入到模型的主幹網絡中。

3. 核心架構：U型縮放定律 (U-Shaped Scaling Law)

論文中最精彩的部分是關於「稀疏性分配」的討論。DeepSeek 發現了一個 U型縮放定律：

在總算力（FLOPs）和參數量固定的情況下：

• 如果全部分給 MoE（純計算），模型會變笨，因為記憶力不夠。
• 如果全部分給 Engram（純記憶），模型會變笨，因為邏輯推理能力不足。

DeepSeek V4 (Engram-27B) 找到了那個完美的平衡點。

通過引入 Engram，V4 成功地：

1. 解放了淺層網絡：Mechanistic Analysis 顯示，模型的淺層不再需要費力去重構簡單的語言模式，可以直接「查表」得到。
2. 加深了有效深度：由於淺層省力了，深層網絡可以更專注於複雜的數學推理和代碼邏輯。這就是為什麼 V4 的代碼能力（HumanEval+）能暴漲的原因。

4. 為什麼這對開發者很重要？

1. 本地部署更友好： Engram 的查表操作是確定性的，支持 Infrastructure-Aware Efficiency。這意味著這部分巨大的「記憶表」可以放在廉價的 系統內存 (RAM) 中，而不需要佔用寶貴的 顯存 (VRAM)。

   • 預測: 未來在 16GB 顯存的消費級顯卡上，配合 64GB 系統內存，就能運行參數量極大的 Engram 模型。

2. 無限上下文的潛力： 雖然 Engram 本身是 N-gram 查找，但這種「外掛記憶」的思路為處理百萬級 Context 提供了新的解法——不需要把所有 Token 都塞進 KV Cache，而是按需檢索。

5. 總結

DeepSeek V4 不僅僅是「卷」參數，而是在架構效率上動刀子。Engram 的出現，標誌著大模型正在從單一的「神經網絡」向「神經+符號」的混合架構演進。

對於我們這些等待 V4 權重的開發者來說，最大的好消息是：DeepSeek 依然堅持開源。

---

參考資料:

• Paper: Conditional Memory via Scalable Lookup
• GitHub: deepseek-ai/Engram