DeepSeek Engram: شکستن محدودیت‌های MoE، گشودن عصر "حافظه شرطی"

2 فوریه 2026 | غواصی فنی عمیق

در میان شایعات بسیار در مورد DeepSeek V4، علاوه بر قابلیت‌های کدنویسی حیرت‌انگیز آن، آنچه بیش از همه گیک‌ها را هیجان‌زده می‌کند، آن جزء جدید مرموز است — Engram.

امروز، با راه‌اندازی آرام مخزن deepseek-ai/Engram و انتشار مقاله Conditional Memory via Scalable Lookup، سرانجام نگاهی به آن می‌اندازیم.

اگر این فقط "یک MoE بزرگتر دیگر" نیست، Engram چه مشکلی را حل می‌کند؟

1. نقطه درد: LLMها نه تنها باید "فکر کنند"، بلکه باید "به خاطر بسپارند"

ترانسفورمرهای سنتی مانند نوابغ بسیار باهوش بدون دفترچه یادداشت هستند. دانش هر چقدر هم ساده باشد (مثلاً "پایتخت پاریس کجاست؟")، آنها باید از محاسبات عصبی گران قیمت (Attention و MLP) برای "محاسبه" آن استفاده کنند.

این دو مشکل را به همراه دارد:

1. اتلاف محاسبات: استفاده از محاسبات GPU برای به خاطر آوردن حقایق ثابت مانند استفاده از یک ابررایانه برای جستجو در یک فرهنگ لغت است — زیاده‌روی.
2. تنگنای ظرفیت: پارامترهای مدل مسئول "استدلال منطقی" و "ذخیره‌سازی دانش" هستند. وقتی ما یک مدل بزرگتر می‌خواهیم، فقط می‌توانیم متخصصان MoE بیشتری را روی هم انباشته کنیم، اما این به طور قابل توجهی استفاده از VRAM و هزینه‌های آموزش را افزایش می‌دهد.

پاسخ DeepSeek این است: "دانش" و "استدلال" را جدا کنید.

2. Engram چیست؟

به سادگی، Engram یک فوق فرهنگ لغت خارجی مبتنی بر جدول است.

قبل از اینکه شبکه عصبی محاسبه کند، ماژول Engram ابتدا کار می‌کند:

1. متن ورودی فعلی (N-gram) را مشاهده می کند.
2. یک جستجوی با پیچیدگی O(1) در یک جدول ثابت عظیم انجام می دهد.
3. بردار بازیابی شده (حافظه) مستقیماً به ستون فقرات مدل تزریق می شود.

3. معماری اصلی: قانون مقیاس‌گذاری U شکل (U-Shaped Scaling Law)

هیجان‌انگیزترین قسمت مقاله بحث در مورد "تخصیص پراکندگی" است. DeepSeek یک قانون مقیاس‌گذاری U شکل کشف کرد:

با فرض کل محاسبات ثابت (FLOPs) و تعداد پارامتر:

• اگر همه به MoE (محاسبات خالص) اختصاص داده شود، مدل احمق می‌شود زیرا حافظه ناکافی است.
• اگر همه به Engram (حافظه خالص) اختصاص داده شود، مدل احمق می‌شود زیرا توانایی استدلال ناکافی است.

DeepSeek V4 (Engram-27B) آن نقطه تعادل کامل را پیدا کرد.

با معرفی Engram، V4 با موفقیت:

1. لایه‌های کم‌عمق را آزاد کرد: تحلیل مکانیکی نشان می‌دهد که لایه‌های کم‌عمق دیگر نیازی به تلاش برای بازسازی الگوهای زبان ساده ندارند؛ آنها فقط می‌توانند جدول را "جستجو" کنند.
2. عمق مؤثر را تعمیق کرد: از آنجا که لایه‌های کم‌عمق ذخیره می‌شوند، لایه‌های عمیق می‌توانند بیشتر بر استدلال ریاضی پیچیده و منطق کد تمرکز کنند. به همین دلیل است که قابلیت کدنویسی V4 (HumanEval+) به شدت افزایش یافت.

4. چرا این برای توسعه‌دهندگان مهم است؟

1. استقرار محلی دوستانه‌تر: جستجوی Engram قطعی است و از کارایی آگاه از زیرساخت پشتیبانی می‌کند. این بدان معناست که این "جدول حافظه" عظیم را می‌توان در RAM سیستم ارزان، بدون اشغال VRAM با ارزش قرار داد.

   • پیش‌بینی: GPUهای مصرفی آینده با 16 گیگابایت VRAM، همراه با 64 گیگابایت RAM سیستم، قادر به اجرای مدل‌های Engram با پارامترهای بسیار بزرگ خواهند بود.

2. پتانسیل برای زمینه بی‌نهایت: اگرچه Engram خود جستجوی N-gram است، اما این رویکرد "حافظه خارجی" راه حل جدیدی برای مدیریت زمینه سطح میلیون ارائه می‌دهد — نیازی به پر کردن هر توکن در حافظه پنهان KV نیست، بلکه در صورت تقاضا بازیابی کنید.

5. خلاصه

DeepSeek V4 فقط پارامترها را "روی هم انباشته" نمی‌کند، بلکه روی کارایی معماری جراحی انجام می‌دهد. ظهور Engram نشان‌دهنده تکامل مدل‌های بزرگ از "شبکه‌های عصبی" منفرد به معماری‌های ترکیبی "عصبی + نمادین" است.

برای ما توسعه‌دهندگان که منتظر وزن‌های V4 هستیم، بهترین خبر این است: DeepSeek هنوز بر منبع باز اصرار دارد.

---

منابع:

• مقاله: Conditional Memory via Scalable Lookup
• GitHub: deepseek-ai/Engram