DeepSeek V4 아키텍처
DeepSeek Engram 메모리
DeepSeek V4의 무한 컨텍스트 윈도우 뒤에 숨겨진 비밀 무기.
Share:
Engram이란 무엇인가요?
기존 LLM은 "KV 캐시" 병목 현상으로 인해 컨텍스트가 고정 크기(예: 128k)로 제한되었습니다. Engram 메모리 새로운 "확장 가능한 조회를 통한 조건부 메모리" 메커니즘을 도입합니다.
인간의 해마처럼 작동하여 무한한 "기억 흔적"(Engrams)을 저장하고 계산과 메모리 용량을 효과적으로 분리합니다.
0x0
0x1
0x2
0x3
0x4
0x5
0x6
0x7
0x8
V3 vs V4 메모리 비교
컨텍스트 윈도우
∞ (무한)
DeepSeek V4
128k 토큰
DeepSeek V3
검색 비용
O(1)
DeepSeek V4
O(N)
DeepSeek V3
배포
소비자 RAM 친화적
DeepSeek V4
높은 VRAM
DeepSeek V3
Share: