DeepSeek Engram : Briser les limites du MoE, ouvrir l'ère de la « Mémoire conditionnelle »

2 mars 2026 | Plongée technique

Parmi les nombreuses rumeurs concernant DeepSeek V4, outre ses capacités de codage époustouflantes, ce qui excite le plus les geeks, c'est ce nouveau composant mystérieux : Engram.

Aujourd'hui, avec le lancement discret du dépôt deepseek-ai/Engram et la publication de l'article Conditional Memory via Scalable Lookup, nous en avons enfin un aperçu.

Si ce n'est pas juste « un autre MoE plus gros », quel problème Engram résout-il ?

1. Le problème : Les LLM ne doivent pas seulement « penser », mais aussi « se souvenir »

Les Transformers traditionnels sont comme des génies extrêmement intelligents sans cahiers. Quelle que soit la simplicité de la connaissance (par exemple, « Quelle est la capitale de Paris ? »), ils doivent utiliser un calcul neuronal coûteux (Attention et MLP) pour la « calculer ».

Cela pose deux problèmes :

1. Gaspillage de calcul : Utiliser le calcul GPU pour se souvenir de faits statiques, c'est comme utiliser un supercalculateur pour chercher dans un dictionnaire — excessif.
2. Goulot d'étranglement de capacité : Les paramètres du modèle sont responsables à la fois du « raisonnement logique » et du « stockage des connaissances ». Lorsque nous voulons un modèle plus grand, nous ne pouvons qu'empiler plus d'experts MoE, mais cela augmente considérablement l'utilisation de la VRAM et les coûts de formation.

La réponse de DeepSeek est : Découpler « Connaissance » et « Raisonnement ».

2. Qu'est-ce qu'Engram ?

Simplement dit, Engram est un super dictionnaire externe basé sur des tables.

Avant que le réseau neuronal ne calcule, le module Engram fonctionne en premier :

1. Il observe le texte d'entrée actuel (N-gram).
2. Il effectue une recherche de complexité O(1) dans une table statique massive.
3. Le vecteur récupéré (Mémoire) est directement injecté dans la colonne vertébrale du modèle.

3. Architecture centrale : Loi de mise à l'échelle en forme de U

La partie la plus excitante de l'article est la discussion sur l'« Allocation de la parcimonie ». DeepSeek a découvert une Loi de mise à l'échelle en forme de U :

Étant donné un calcul total fixe (FLOPs) et un nombre de paramètres :

• Si tout est alloué au MoE (calcul pur), le modèle devient stupide parce que la mémoire est insuffisante.
• Si tout est alloué à Engram (mémoire pure), le modèle devient stupide parce que la capacité de raisonnement est insuffisante.

DeepSeek V4 (Engram-27B) a trouvé ce point d'équilibre parfait.

En introduisant Engram, V4 a réussi à :

1. Libérer les couches peu profondes : L'analyse mécanique montre que les couches peu profondes n'ont plus besoin de lutter pour reconstruire des modèles linguistiques simples ; elles peuvent simplement « consulter » la table.
2. Approfondir la profondeur effective : Puisque les couches peu profondes sont économisées, les couches profondes peuvent se concentrer davantage sur le raisonnement mathématique complexe et la logique du code. C'est pourquoi la capacité de codage de V4 (HumanEval+) a explosé.

4. Pourquoi est-ce important pour les développeurs ?

1. Déploiement local plus convivial : La recherche d'Engram est déterministe, prenant en charge l'Efficacité consciente de l'infrastructure. Cela signifie que cette énorme « table de mémoire » peut être placée dans une RAM système bon marché, sans occuper la précieuse VRAM.

   • Prédiction : Les futurs GPU grand public avec 16 Go de VRAM, associés à 64 Go de RAM système, pourront exécuter des modèles Engram à paramètres extrêmement larges.

2. Potentiel pour un contexte infini : Bien qu'Engram lui-même soit une recherche N-gram, cette approche de « mémoire externe » fournit une nouvelle solution pour gérer des contextes de niveau million — pas besoin de bourrer chaque Token dans le cache KV, mais de récupérer à la demande.

5. Résumé

DeepSeek V4 ne consiste pas seulement à « empiler » des paramètres, mais à effectuer une chirurgie sur l'efficacité architecturale. L'apparition d'Engram marque l'évolution des grands modèles de « réseaux neuronaux » uniques vers des architectures hybrides « neuronales + symboliques ».

Pour nous, développeurs attendant les poids V4, la meilleure nouvelle est : DeepSeek insiste toujours sur l'open source.

---

Références :

• Papier : Conditional Memory via Scalable Lookup
• GitHub : deepseek-ai/Engram