DeepSeek Engram: MoE की सीमाओं को तोड़ना, "सशर्त स्मृति" के युग को खोलना

2 फरवरी 2026 | तकनीकी गहरा गोता

DeepSeek V4 की कई अफवाहों के बीच, इसकी आश्चर्यजनक कोडिंग क्षमताओं के अलावा, जो चीज़ गीक्स को सबसे ज़्यादा उत्साहित करती है, वह है वह रहस्यमय नया घटक — Engram।

आज, deepseek-ai/Engram रिपॉजिटरी के शांत लॉन्च और पेपर Conditional Memory via Scalable Lookup के रिलीज़ के साथ, हमें आखिरकार इसकी एक झलक मिलती है।

यदि यह केवल "एक और बड़ा MoE" नहीं है, तो Engram किस समस्या को हल करता है?

1. दर्द बिंदु: LLM को केवल "सोचना" नहीं चाहिए, बल्कि "याद रखना" भी चाहिए

पारंपरिक ट्रांसफॉर्मर बिना नोटबुक के बेहद स्मार्ट जीनियस की तरह हैं। ज्ञान चाहे कितना भी सरल क्यों न हो (उदाहरण के लिए, "पेरिस की राजधानी क्या है?"), उन्हें इसे "गणना" करने के लिए महंगी तंत्रिका गणना (Attention और MLP) का उपयोग करना चाहिए।

यह दो समस्याएं लाता है:

1. गणना की बर्बादी: स्थिर तथ्यों को याद करने के लिए GPU गणना का उपयोग करना शब्दकोश में देखने के लिए सुपरकंप्यूटर का उपयोग करने जैसा है — अतिरेक।
2. क्षमता की बाधा: मॉडल पैरामीटर "तार्किक तर्क" और "ज्ञान भंडारण" दोनों के लिए जिम्मेदार हैं। जब हम एक बड़ा मॉडल चाहते हैं, तो हम केवल अधिक MoE विशेषज्ञों को ढेर कर सकते हैं, लेकिन इससे VRAM उपयोग और प्रशिक्षण लागत में काफी वृद्धि होती है।

DeepSeek का उत्तर है: "ज्ञान" और "तर्क" को अलग करें।

2. Engram क्या है?

सीधे शब्दों में कहें तो, Engram एक बाहरी, टेबल-आधारित सुपर शब्दकोश है।

तंत्रिका नेटवर्क की गणना करने से पहले, Engram मॉड्यूल पहले काम करता है:

1. यह वर्तमान इनपुट टेक्स्ट (N-gram) का निरीक्षण करता है।
2. यह एक विशाल, स्थिर तालिका में O(1) जटिलता लुकअप करता है।
3. पुनर्प्राप्त वेक्टर (मेमोरी) को सीधे मॉडल की रीढ़ में इंजेक्ट किया जाता है।

3. मुख्य आर्किटेक्चर: U-आकार का स्केलिंग कानून (U-Shaped Scaling Law)

पेपर का सबसे रोमांचक हिस्सा "विरलता आवंटन" पर चर्चा है। DeepSeek ने एक U-आकार का स्केलिंग कानून खोजा:

निश्चित कुल गणना (FLOPs) और पैरामीटर गणना को देखते हुए:

• यदि सभी को MoE (शुद्ध गणना) को सौंपा जाता है, तो मॉडल गूंगा हो जाता है क्योंकि स्मृति अपर्याप्त है।
• यदि सभी को Engram (शुद्ध स्मृति) को सौंपा जाता है, तो मॉडल गूंगा हो जाता है क्योंकि तर्क क्षमता अपर्याप्त है।

DeepSeek V4 (Engram-27B) ने उस सही संतुलन बिंदु को पाया।

Engram को पेश करके, V4 ने सफलतापूर्वक:

1. उथली परतों को मुक्त किया: यंत्रवत विश्लेषण से पता चलता है कि उथली परतों को अब सरल भाषा पैटर्न के पुनर्निर्माण के लिए संघर्ष करने की आवश्यकता नहीं है; वे बस तालिका को "देख" सकते हैं।
2. प्रभावी गहराई को गहरा किया: चूंकि उथली परतों को बचाया जाता है, इसलिए गहरी परतें जटिल गणितीय तर्क और कोड तर्क पर अधिक ध्यान केंद्रित कर सकती हैं। यही कारण है कि V4 की कोडिंग क्षमता (HumanEval+) आसमान छू गई।

4. डेवलपर्स के लिए यह महत्वपूर्ण क्यों है?

1. अधिक अनुकूल स्थानीय तैनाती: Engram का लुकअप नियतात्मक है, जो इन्फ्रास्ट्रक्चर-जागरूक दक्षता का समर्थन करता है। इसका मतलब है कि इस विशाल "मेमोरी टेबल" को कीमती VRAM पर कब्जा किए बिना, सस्ते सिस्टम RAM में रखा जा सकता है।

   • भविष्यवाणी: 16GB VRAM वाले भविष्य के उपभोक्ता GPU, 64GB सिस्टम RAM के साथ मिलकर, अत्यंत बड़े पैरामीटर Engram मॉडल चलाने में सक्षम होंगे।

2. अनंत संदर्भ की क्षमता: हालांकि Engram स्वयं N-gram लुकअप है, यह "बाहरी मेमोरी" दृष्टिकोण मिलियन-स्तर के संदर्भ को संभालने के लिए एक नया समाधान प्रदान करता है — हर टोकन को KV कैश में भरने की आवश्यकता नहीं है, बल्कि मांग पर पुनर्प्राप्त करें।

5. सारांश

DeepSeek V4 केवल पैरामीटर को "ढेर" नहीं कर रहा है, बल्कि आर्किटेक्चरल दक्षता पर सर्जरी कर रहा है। Engram की उपस्थिति एकल "तंत्रिका नेटवर्क" से "तंत्रिका + प्रतीकात्मक" हाइब्रिड आर्किटेक्चर तक बड़े मॉडल के विकास को चिह्नित करती है।

हम डेवलपर्स के लिए जो V4 वेट का इंतजार कर रहे हैं, सबसे अच्छी खबर है: DeepSeek अभी भी ओपन सोर्स पर जोर देता है।

---

संदर्भ:

• पेपर: Conditional Memory via Scalable Lookup
• GitHub: deepseek-ai/Engram