DeepSeek Engram: كسر حدود MoE، وافتتاح عصر "الذاكرة المشروطة"

2 مارس 2026 | نظرة تقنية عميقة

من بين الشائعات العديدة حول DeepSeek V4، بصرف النظر عن قدرات الترميز المذهلة، فإن ما يثير المهووسين أكثر هو ذلك المكون الجديد الغامض — Engram.

اليوم، مع الإطلاق الهادئ لمستودع deepseek-ai/Engram وإصدار الورقة البحثية Conditional Memory via Scalable Lookup، نلقي أخيرًا نظرة عليه.

إذا لم يكن مجرد "MoE آخر أكبر"، فما المشكلة التي يحلها Engram؟

1. نقطة الألم: يجب ألا "تفكر" النماذج اللغوية الكبيرة (LLMs) فحسب، بل يجب أن "تتذكر" أيضًا

محولات Transformer التقليدية تشبه عباقرة أذكياء للغاية بدون دفاتر ملاحظات. بغض النظر عن مدى بساطة المعرفة (على سبيل المثال، "ما هي عاصمة باريس؟")، يجب أن تستخدم حوسبة عصبية باهظة الثمن (الانتباه و MLP) لـ "حسابها".

هذا يجلب مشكلتين:

1. هدر الحوسبة: استخدام حوسبة GPU لتذكر حقائق ثابتة يشبه استخدام كمبيوتر عملاق للبحث في قاموس — مبالغة.
2. عنق الزجاجة في السعة: معلمات النموذج مسؤولة عن كل من "التفكير المنطقي" و "تخزين المعرفة". عندما نريد نموذجًا أكبر، لا يمكننا سوى تكديس المزيد من خبراء MoE، لكن هذا يزيد بشكل كبير من استخدام VRAM وتكاليف التدريب.

إجابة DeepSeek هي: فصل "المعرفة" و "التفكير".

2. ما هو Engram؟

ببساطة، Engram هو قاموس فائق خارجي يعتمد على الجداول.

قبل أن تحسب الشبكة العصبية، تعمل وحدة Engram أولاً:

1. تراقب نص الإدخال الحالي (N-gram).
2. تجري بحثًا بتعقيد O(1) في جدول ثابت ضخم.
3. يتم حقن المتجه المسترجع (الذاكرة) مباشرة في العمود الفقري للنموذج.

3. الهندسة الأساسية: قانون التوسع على شكل حرف U

الجزء الأكثر إثارة في الورقة هو المناقشة حول "تخصيص الندرة". اكتشفت DeepSeek قانون توسع على شكل حرف U:

بافتراض إجمالي حوسبة ثابت (FLOPs) وعدد المعلمات:

• إذا تم تخصيص كل شيء لـ MoE (حوسبة خالصة)، يصبح النموذج غبيًا لأن الذاكرة غير كافية.
• إذا تم تخصيص كل شيء لـ Engram (ذاكرة خالصة)، يصبح النموذج غبيًا لأن قدرة التفكير غير كافية.

DeepSeek V4 (Engram-27B) وجدت نقطة التوازن المثالية تلك.

من خلال تقديم Engram، نجحت V4 في:

1. تحرير الطبقات الضحلة: يظهر التحليل الميكانيكي أن الطبقات الضحلة لم تعد بحاجة للكفاح لإعادة بناء أنماط اللغة البسيطة؛ يمكنها فقط "البحث" في الجدول.
2. تعميق العمق الفعال: نظرًا لتوفير الطبقات الضحلة، يمكن للطبقات العميقة التركيز أكثر على التفكير الرياضي المعقد ومنطق الكود. لهذا السبب ارتفعت قدرة الترميز في V4 (HumanEval+) بشكل كبير.

4. لماذا هذا مهم للمطورين؟

1. نشر محلي أكثر ملاءمة: بحث Engram حتمي، ويدعم الكفاءة المدركة للبنية التحتية. هذا يعني أن هذا "جدول الذاكرة" الضخم يمكن وضعه في ذاكرة النظام (RAM) الرخيصة، دون احتلال VRAM الثمينة.

   • تنبؤ: ستتمكن وحدات معالجة الرسومات (GPUs) الاستهلاكية المستقبلية بسعة 16 جيجابايت VRAM، المقترنة بـ 64 جيجابايت ذاكرة نظام، من تشغيل نماذج Engram ذات المعلمات الكبيرة للغاية.

2. إمكانية سياق لا نهائي: على الرغم من أن Engram نفسه هو بحث N-gram، فإن نهج "الذاكرة الخارجية" هذا يوفر حلاً جديدًا للتعامل مع سياق بمستوى المليون — لا حاجة لحشو كل رمز مميز (Token) في ذاكرة التخزين المؤقت KV، ولكن الاسترجاع عند الطلب.

5. ملخص

DeepSeek V4 لا يقوم فقط بـ "تكديس" المعلمات، بل يجري جراحة على كفاءة الهندسة المعمارية. يشير ظهور Engram إلى تطور النماذج الكبيرة من "شبكات عصبية" فردية إلى معماريات هجينة "عصبية + رمزية".

بالنسبة لنا نحن المطورين الذين ينتظرون أوزان V4، فإن أفضل الأخبار هي: DeepSeek لا تزال تصر على المصدر المفتوح.

---

المراجع:

• الورقة: Conditional Memory via Scalable Lookup
• GitHub: deepseek-ai/Engram