هندسة DeepSeek V4
ذاكرة DeepSeek Engram
السلاح السري وراء نافذة السياق اللانهائية لـ DeepSeek V4.
Share:
ما هو Engram؟
تعاني نماذج اللغة الكبيرة التقليدية من اختناقات "KV Cache"، مما يحد من سياقها بأحجام ثابتة (مثل: 128k). ذاكرة Engram تقدم آلية جديدة لـ "الذاكرة المشروطة عبر البحث التطوري".
تعمل مثل الحصين البشري، حيث تخزن "آثار ذاكرة" (Engrams) لا نهائية وتفصل الحوسبة عن سعة الذاكرة بشكل فعال.
0x0
0x1
0x2
0x3
0x4
0x5
0x6
0x7
0x8
مقارنة الذاكرة V3 مقابل V4
نافذة السياق
∞ (لا نهائي)
DeepSeek V4
128k رمز
DeepSeek V3
تكلفة الاسترجاع
O(1)
DeepSeek V4
O(N)
DeepSeek V3
النشر
صديقة لذاكرة الوصول العشوائي للمستهلك
DeepSeek V4
VRAM عالية
DeepSeek V3
Share: