DeepSeek V4 アーキテクチャ
DeepSeek Engram メモリ
DeepSeek V4の無限コンテキストウィンドウの背後にある秘密兵器。
Share:
Engramとは?
従来のLLMは「KVキャッシュ」のボトルネックに苦しみ、コンテキストが固定サイズ(例:128k)に制限されていました。 Engram メモリ は、斬新な「スケーラブルなルックアップによる条件付きメモリ」メカニズムを導入します。
人間の海馬のように機能し、無限の「記憶痕跡」(エングラム)を保存し、計算とメモリ容量を効果的に分離します。
0x0
0x1
0x2
0x3
0x4
0x5
0x6
0x7
0x8
V3 と V4 のメモリ比較
コンテキストウィンドウ
∞(無限)
DeepSeek V4
128k トークン
DeepSeek V3
検索コスト
O(1)
DeepSeek V4
O(N)
DeepSeek V3
導入
消費者向けRAMに対応
DeepSeek V4
高VRAM
DeepSeek V3
Share: