DeepSeek Engram：打破 MoE 的局限，开启“条件记忆”新时代

2026年3月2日 | 技术深度解析

在 DeepSeek V4 的众多传闻中，除了令人咋舌的代码能力，最让极客们兴奋的莫过于那个神秘的新组件——Engram (印迹)。

今天，随着 deepseek-ai/Engram 仓库的悄然上线和论文 Conditional Memory via Scalable Lookup 的发布，我们终于得以一窥其真容。

如果不只是“又一个参数更大的 MoE”，那 Engram 到底解决了什么问题？

1. 痛点：大模型不仅要“想”，还要“记”

传统的 Transformer 就像一个极其聪明但没有笔记本的天才。无论多么简单的知识（比如“巴黎的首都是哪里？”），它都必须动用昂贵的神经网络算力（Attention 和 MLP）去“计算”出来。

这带来了两个问题：

1. 算力浪费：用 GPU 算力去回忆静态事实，就像用超级计算机查字典，大材小用。
2. 容量瓶颈：模型的参数既要负责“逻辑推理”，又要负责“知识存储”。当模型要变大时，我们只能堆更多的 MoE 专家，但这会显著增加显存占用和训练成本。

DeepSeek 的答案是：把“知识”和“推理”解耦。

2. 什么是 Engram (印迹)？

简单来说，Engram 是一个外挂的、基于查表的超级字典。

在神经网络进行计算之前，Engram 模块会先工作：

1. 它观察当前的输入文本（N-gram）。
2. 它直接在一个巨大的、静态的表中进行 O(1) 复杂度的查找。
3. 查找到的向量（Memory）被直接注入到模型的主干网络中。

3. 核心架构：U型缩放定律 (U-Shaped Scaling Law)

论文中最精彩的部分是关于“稀疏性分配”的讨论。DeepSeek 发现了一个 U型缩放定律：

在总算力（FLOPs）和参数量固定的情况下：

• 如果全部分给 MoE（纯计算），模型会变笨，因为记忆力不够。
• 如果全部分给 Engram（纯记忆），模型也会变笨，因为逻辑推理能力不足。

DeepSeek V4 (Engram-27B) 找到了那个完美的平衡点。

通过引入 Engram，V4 成功地：

1. 解放了浅层网络：Mechanistic Analysis 显示，模型的浅层不再需要费力去重构简单的语言模式，可以直接“查表”得到。
2. 加深了有效深度：由于浅层省力了，深层网络可以更专注于复杂的数学推理和代码逻辑。这就是为什么 V4 的代码能力（HumanEval+）能暴涨的原因。

4. 为什么这对开发者很重要？

1. 本地部署更友好： Engram 的查表操作是确定性的，支持 Infrastructure-Aware Efficiency。这意味着这部分巨大的“记忆表”可以放在廉价的 系统内存 (RAM) 中，而不需要占用宝贵的 显存 (VRAM)。

   • 预测: 未来在 16GB 显存的消费级显卡上，配合 64GB 系统内存，就能运行参数量极大的 Engram 模型。

2. 无限上下文的潜力： 虽然 Engram 本身是 N-gram 查找，但这种“外挂记忆”的思路为处理百万级 Context 提供了新的解法——不需要把所有 Token 都塞进 KV Cache，而是按需检索。

5. 总结

DeepSeek V4 不仅仅是“卷”参数，而是在架构效率上动刀子。Engram 的出现，标志着大模型正在从单一的“神经网络”向“神经+符号”的混合架构演进。

对于我们这些等待 V4 权重的开发者来说，最大的好消息是：DeepSeek 依然坚持开源。

---

参考资料:

• Paper: Conditional Memory via Scalable Lookup
• GitHub: deepseek-ai/Engram