DeepSeek Engram: MoE-Grenzen sprengen, die Ära des "Bedingten Gedächtnisses" eröffnen

2. März 2026 | Technischer Tiefeinblick

Unter den vielen Gerüchten über DeepSeek V4 ist neben seinen atemberaubenden Programmierfähigkeiten das, was Geeks am meisten begeistert, diese mysteriöse neue Komponente — Engram.

Heute, mit dem stillen Start des deepseek-ai/Engram-Repositories und der Veröffentlichung des Papers Conditional Memory via Scalable Lookup, bekommen wir endlich einen Einblick.

Wenn es nicht nur "ein weiteres größeres MoE" ist, welches Problem löst Engram?

1. Der Schmerzpunkt: LLMs müssen nicht nur "denken", sondern auch "erinnern"

Traditionelle Transformer sind wie extrem intelligente Genies ohne Notizbücher. Egal wie einfach das Wissen ist (z. B. "Was ist die Hauptstadt von Paris?"), sie müssen teure neuronale Rechenleistung (Attention und MLP) verwenden, um es zu "berechnen".

Das bringt zwei Probleme mit sich:

1. Rechenverschwendung: GPU-Rechenleistung zu verwenden, um statische Fakten abzurufen, ist wie einen Supercomputer zu benutzen, um in einem Wörterbuch nachzuschlagen — übertrieben.
2. Kapazitätsengpass: Modellparameter sind sowohl für "logisches Denken" als auch für "Wissensspeicherung" verantwortlich. Wenn wir ein größeres Modell wollen, können wir nur mehr MoE-Experten stapeln, aber das erhöht den VRAM-Verbrauch und die Trainingskosten erheblich.

DeepSeeks Antwort lautet: "Wissen" und "Denken" entkoppeln.

2. Was ist Engram?

Einfach ausgedrückt ist Engram ein externes, tabellenbasiertes Super-Wörterbuch.

Bevor das neuronale Netzwerk berechnet, arbeitet das Engram-Modul zuerst:

1. Es beobachtet den aktuellen Eingabetext (N-Gramm).
2. Es führt eine Suche mit O(1)-Komplexität in einer riesigen, statischen Tabelle durch.
3. Der abgerrufene Vektor (Gedächtnis) wird direkt in das Rückgrat des Modells injiziert.

3. Kernarchitektur: U-förmiges Skalierungsgesetz (U-Shaped Scaling Law)

Der aufregendste Teil des Papers ist die Diskussion über "Sparsity Allocation". DeepSeek entdeckte ein U-förmiges Skalierungsgesetz:

Gegeben sei eine feste Gesamtrechenleistung (FLOPs) und Parameterzahl:

• Wenn alles MoE (reine Berechnung) zugewiesen wird, wird das Modell dumm, weil das Gedächtnis unzureichend ist.
• Wenn alles Engram (reines Gedächtnis) zugewiesen wird, wird das Modell dumm, weil die Denkfähigkeit unzureichend ist.

DeepSeek V4 (Engram-27B) fand diesen perfekten Balancepunkt.

Durch die Einführung von Engram gelang V4 Folgendes:

1. Befreiung flacher Schichten: Die mechanistische Analyse zeigt, dass flache Schichten nicht mehr kämpfen müssen, um einfache Sprachmuster zu rekonstruieren; sie können einfach in der Tabelle "nachschlagen".
2. Vertiefung der effektiven Tiefe: Da flache Schichten geschont werden, können sich tiefe Schichten mehr auf komplexes mathematisches Denken und Codelogik konzentrieren. Das ist der Grund, warum V4s Programmierfähigkeit (HumanEval+) in die Höhe schoss.

4. Warum ist das für Entwickler wichtig?

1. Freundlichere lokale Bereitstellung: Die Suche von Engram ist deterministisch und unterstützt Infrastruktur-bewusste Effizienz. Das bedeutet, dass diese riesige "Gedächtnistabelle" in billigem System-RAM platziert werden kann, ohne wertvollen VRAM zu belegen.

   • Vorhersage: Zukünftige Consumer-GPUs mit 16 GB VRAM, gepaart mit 64 GB System-RAM, werden in der Lage sein, extrem große Parameter-Engram-Modelle auszuführen.

2. Potenzial für unendlichen Kontext: Obwohl Engram selbst eine N-Gramm-Suche ist, bietet dieser Ansatz des "externen Gedächtnisses" eine neue Lösung für den Umgang mit Kontext auf Millionenebene — es ist nicht nötig, jedes Token in den KV-Cache zu stopfen, sondern bei Bedarf abzurufen.

5. Zusammenfassung

DeepSeek V4 "stapelt" nicht nur Parameter, sondern führt eine Operation an der Architektureffizienz durch. Das Erscheinen von Engram markiert die Evolution großer Modelle von einzelnen "neuronalen Netzwerken" zu hybriden Architekturen aus "neuronal + symbolisch".

Für uns Entwickler, die auf V4-Gewichte warten, ist die beste Nachricht: DeepSeek besteht immer noch auf Open Source.

---

Referenzen:

• Paper: Conditional Memory via Scalable Lookup
• GitHub: deepseek-ai/Engram