DeepSeek Engram: Menembus Batas MoE, Membuka Era "Memori Bersyarat"

2 Februari 2026 | Pendalaman Teknis

Di antara banyak rumor tentang DeepSeek V4, selain kemampuan pengkodeannya yang mencengangkan, yang paling membuat para geek bersemangat adalah komponen baru yang misterius itu — Engram.

Hari ini, dengan peluncuran diam-diam repositori deepseek-ai/Engram dan rilis makalah Conditional Memory via Scalable Lookup, akhirnya kita bisa melihatnya sekilas.

Jika ini bukan hanya "satu lagi MoE yang lebih besar", masalah apa yang dipecahkan Engram?

1. Titik Nyeri: LLM Tidak Boleh Hanya "Berpikir", Tetapi Juga "Mengingat"

Transformer tradisional seperti jenius yang sangat cerdas tanpa buku catatan. Tidak peduli seberapa sederhana pengetahuannya (misalnya, "Apa ibu kota Paris?"), mereka harus menggunakan komputasi saraf yang mahal (Attention dan MLP) untuk "menghitungnya".

Ini membawa dua masalah:

1. Pemborosan Komputasi: Menggunakan komputasi GPU untuk mengingat fakta statis seperti menggunakan superkomputer untuk mencari di kamus — berlebihan.
2. Kemacetan Kapasitas: Parameter model bertanggung jawab atas "penalaran logis" dan "penyimpanan pengetahuan". Ketika kita menginginkan model yang lebih besar, kita hanya dapat menumpuk lebih banyak ahli MoE, tetapi ini secara signifikan meningkatkan penggunaan VRAM dan biaya pelatihan.

Jawaban DeepSeek adalah: Pisahkan "Pengetahuan" dan "Penalaran".

2. Apa itu Engram?

Sederhananya, Engram adalah kamus super eksternal berbasis tabel.

Sebelum jaringan saraf menghitung, modul Engram bekerja terlebih dahulu:

1. Ia mengamati teks input saat ini (N-gram).
2. Ia melakukan pencarian kompleksitas O(1) dalam tabel statis yang sangat besar.
3. Vektor yang diambil (Memori) langsung disuntikkan ke tulang punggung model.

3. Arsitektur Inti: Hukum Skala Berbentuk U (U-Shaped Scaling Law)

Bagian paling menarik dari makalah ini adalah diskusi tentang "Alokasi Kelangkaan". DeepSeek menemukan Hukum Skala Berbentuk U:

Mengingat total komputasi (FLOPs) dan jumlah parameter tetap:

• Jika semua ditugaskan ke MoE (komputasi murni), model menjadi bodoh karena memori tidak mencukupi.
• Jika semua ditugaskan ke Engram (memori murni), model menjadi bodoh karena kemampuan penalaran tidak mencukupi.

DeepSeek V4 (Engram-27B) menemukan titik keseimbangan yang sempurna itu.

Dengan memperkenalkan Engram, V4 berhasil:

1. Membebaskan lapisan dangkal: Analisis Mekanistik menunjukkan bahwa lapisan dangkal tidak perlu lagi berjuang untuk merekonstruksi pola bahasa sederhana; mereka hanya bisa "mencari" di tabel.
2. Memperdalam kedalaman efektif: Karena lapisan dangkal dihemat, lapisan dalam dapat lebih fokus pada penalaran matematika yang kompleks dan logika kode. Inilah sebabnya mengapa kemampuan pengkodean V4 (HumanEval+) meroket.

4. Mengapa Ini Penting bagi Pengembang?

1. Penyebaran Lokal Lebih Ramah: Pencarian Engram bersifat deterministik, mendukung Efisiensi Sadar Infrastruktur. Ini berarti "tabel memori" besar ini dapat ditempatkan di RAM Sistem yang murah, tanpa menempati VRAM yang berharga.

   • Prediksi: GPU konsumen masa depan dengan VRAM 16GB, dipasangkan dengan RAM sistem 64GB, akan dapat menjalankan model Engram parameter yang sangat besar.

2. Potensi Konteks Tak Terbatas: Meskipun Engram sendiri adalah pencarian N-gram, pendekatan "memori eksternal" ini memberikan solusi baru untuk menangani Konteks tingkat juta — tidak perlu memasukkan setiap Token ke dalam KV Cache, tetapi mengambil sesuai permintaan.

5. Ringkasan

DeepSeek V4 tidak hanya "menumpuk" parameter, tetapi melakukan operasi pada efisiensi arsitektur. Munculnya Engram menandai evolusi model besar dari "jaringan saraf" tunggal menjadi arsitektur hibrida "jaringan + simbolik".

Bagi kami pengembang yang menunggu bobot V4, berita terbaiknya adalah: DeepSeek masih bersikeras pada open source.

---

Referensi:

• Makalah: Conditional Memory via Scalable Lookup
• GitHub: deepseek-ai/Engram