DeepSeek Engram: MoE Sınırlarını Aşmak, "Koşullu Bellek" Çağını Açmak

2 Şubat 2026 | Teknik Derinlemesine İnceleme

DeepSeek V4 hakkındaki birçok söylentinin yanı sıra, dudak uçuklatan kodlama yeteneklerinin dışında, meraklıları en çok heyecanlandıran şey o gizemli yeni bileşen — Engram.

Bugün, deepseek-ai/Engram deposunun sessizce başlatılması ve Conditional Memory via Scalable Lookup makalesinin yayınlanmasıyla, nihayet ona bir göz atabiliyoruz.

Sadece "daha büyük bir MoE" değilse, Engram hangi sorunu çözüyor?

1. Ağrı Noktası: Yüksek Lisanslar Sadece "Düşünmemeli", Aynı Zamanda "Hatırlamalı"

Geleneksel Transformatörler, not defterleri olmayan son derece zeki dahiler gibidir. Bilgi ne kadar basit olursa olsun (örneğin, "Paris'in başkenti neresidir?"), bunu "hesaplamak" için pahalı sinirsel hesaplama (Dikkat ve MLP) kullanmaları gerekir.

Bu iki sorunu beraberinde getirir:

1. Hesaplama İsrafı: Statik gerçekleri hatırlamak için GPU hesaplamasını kullanmak, bir sözlüğe bakmak için süper bilgisayar kullanmak gibidir — aşırıya kaçmaktır.
2. Kapasite Darboğazı: Model parametreleri hem "mantıksal akıl yürütme" hem de "bilgi depolama"dan sorumludur. Daha büyük bir model istediğimizde, yalnızca daha fazla MoE uzmanı yığabiliriz, ancak bu VRAM kullanımını ve eğitim maliyetlerini önemli ölçüde artırır.

DeepSeek'in cevabı şudur: "Bilgi" ve "Akıl Yürütme"yi ayırın.

2. Engram Nedir?

Basitçe söylemek gerekirse, Engram harici, tablo tabanlı bir süper sözlüktür.

Sinir ağı hesaplama yapmadan önce, Engram modülü önce çalışır:

1. Mevcut giriş metnini (N-gram) gözlemler.
2. Büyük, statik bir tabloda O(1) karmaşıklığında bir arama gerçekleştirir.
3. Alınan vektör (Bellek) doğrudan modelin omurgasına enjekte edilir.

3. Çekirdek Mimari: U-Şekilli Ölçekleme Yasası (U-Shaped Scaling Law)

Makalenin en heyecan verici kısmı "Seyreklik Tahsisi" üzerine yapılan tartışmadır. DeepSeek bir U-Şekilli Ölçekleme Yasası keşfetti:

Sabit toplam hesaplama (FLOPs) ve parametre sayısı verildiğinde:

• Hepsi MoE'ye (saf hesaplama) atanırsa, bellek yetersiz olduğu için model aptallaşır.
• Hepsi Engram'a (saf bellek) atanırsa, akıl yürütme yeteneği yetersiz olduğu için model aptallaşır.

DeepSeek V4 (Engram-27B) o mükemmel denge noktasını buldu.

Engram'ı tanıtarak, V4 başarılı bir şekilde:

1. Sığ katmanları serbest bıraktı: Mekanistik Analiz, sığ katmanların artık basit dil kalıplarını yeniden oluşturmak için mücadele etmelerine gerek olmadığını gösteriyor; sadece tabloya "bakabilirler".
2. Etkili derinliği derinleştirdi: Sığ katmanlar kurtarıldığı için, derin katmanlar karmaşık matematiksel akıl yürütme ve kod mantığına daha fazla odaklanabilir. V4'ün kodlama yeteneğinin (HumanEval+) fırlamasının nedeni budur.

4. Bu Geliştiriciler İçin Neden Önemli?

1. Daha Dostça Yerel Dağıtım: Engram'ın araması deterministiktir ve Altyapı Farkındalıklı Verimliliği destekler. Bu, bu devasa "bellek tablosunun", değerli VRAM'i işgal etmeden ucuz Sistem RAM'ine yerleştirilebileceği anlamına gelir.

   • Tahmin: 64 GB sistem RAM'i ile eşleştirilmiş 16 GB VRAM'e sahip gelecekteki tüketici GPU'ları, son derece büyük parametreli Engram modellerini çalıştırabilecektir.

2. Sonsuz Bağlam Potansiyeli: Engram'ın kendisi N-gram araması olsa da, bu "harici bellek" yaklaşımı, milyon seviyesindeki Bağlamı işlemek için yeni bir çözüm sunar — her Belirteci KV Önbelleğine doldurmaya gerek yoktur, ancak talep üzerine geri getirilir.

5. Özet

DeepSeek V4 sadece parametreleri "istiflemiyor", aynı zamanda mimari verimlilik üzerinde ameliyat yapıyor. Engram'ın görünümü, büyük modellerin tek "sinir ağlarından" "sinirsel + sembolik" hibrit mimarilere evrimini işaret ediyor.

Biz V4 ağırlıklarını bekleyen geliştiriciler için en iyi haber: DeepSeek hala açık kaynak konusunda ısrar ediyor.

---

Referanslar:

• Makale: Conditional Memory via Scalable Lookup
• GitHub: deepseek-ai/Engram