DeepSeek Engram: MoE의 한계를 넘어, "조건부 기억"의 시대를 열다

2026년 2월 2일 | 기술 심층 분석

DeepSeek V4에 대한 수많은 소문 중, 입이 떡 벌어지는 코딩 능력 외에도 괴짜들을 가장 흥분시키는 것은 바로 그 신비로운 새 구성 요소인 **Engram(기억 흔적)**입니다.

오늘, deepseek-ai/Engram 저장소가 조용히 공개되고 논문 Conditional Memory via Scalable Lookup이 발표되면서, 드디어 그 실체를 엿볼 수 있게 되었습니다.

만약 이것이 단지 "매개변수가 더 큰 또 다른 MoE"가 아니라면, Engram은 도대체 어떤 문제를 해결했을까요?

1. 문제점: LLM은 "생각"할 뿐만 아니라 "기억"해야 한다

전통적인 Transformer는 마치 매우 똑똑하지만 노트가 없는 천재와 같습니다. 아무리 간단한 지식(예: "파리의 수도는 어디인가?")이라도, 비싼 신경망 연산 능력(Attention과 MLP)을 사용하여 "계산"해내야 합니다.

이는 두 가지 문제를 야기합니다:

1. 연산 능력 낭비: 정적인 사실을 떠올리기 위해 GPU 연산을 사용하는 것은 사전을 찾는 데 슈퍼컴퓨터를 사용하는 것과 같아 비효율적입니다.
2. 용량 병목 현상: 모델의 매개변수는 "논리 추론"과 "지식 저장"을 모두 담당합니다. 모델을 키우려면 MoE 전문가를 더 늘릴 수밖에 없지만, 이는 VRAM 사용량과 훈련 비용을 크게 증가시킵니다.

DeepSeek의 대답은 이것입니다: "지식"과 "추론"을 분리하라.

2. Engram이란 무엇인가?

간단히 말해, Engram은 외장형 테이블 기반 슈퍼 사전입니다.

신경망이 계산을 수행하기 전에, Engram 모듈이 먼저 작동합니다:

1. 현재 입력 텍스트(N-gram)를 관찰합니다.
2. 거대한 정적 테이블에서 O(1) 복잡도로 조회를 수행합니다.
3. 검색된 벡터(Memory)가 모델의 백본에 직접 주입됩니다.

3. 핵심 아키텍처: U자형 확장 법칙 (U-Shaped Scaling Law)

논문에서 가장 흥미로운 부분은 "희소성 할당"에 대한 논의입니다. DeepSeek는 U자형 확장 법칙을 발견했습니다:

총 연산량(FLOPs)과 매개변수 수가 고정된 경우:

• 전부를 MoE(순수 계산)에 할당하면, 기억력이 부족하여 모델이 똑똑해지지 않습니다.
• 전부를 Engram(순수 기억)에 할당하면, 논리 추론 능력이 부족하여 모델이 똑똑해지지 않습니다.

DeepSeek V4(Engram-27B)는 그 완벽한 균형점을 찾았습니다.

Engram을 도입함으로써 V4는 다음과 같은 성과를 거두었습니다:

1. 얕은 층의 해방: 메커니즘 분석에 따르면, 모델의 얕은 층은 더 이상 단순한 언어 패턴을 재구성하기 위해 애쓸 필요가 없으며, 단지 테이블을 "조회"하면 됩니다.
2. 유효 깊이 심화: 얕은 층이 편해진 만큼, 깊은 층은 복잡한 수학적 추론과 코드 로직에 더 집중할 수 있게 됩니다. 이것이 V4의 코딩 능력(HumanEval+)이 급상승한 이유입니다.

4. 개발자에게 이것이 왜 중요한가?

1. 로컬 배포에 더 친화적: Engram의 조회 작업은 결정론적이며, Infrastructure-Aware Efficiency를 지원합니다. 즉, 이 거대한 "기억 테이블"은 귀중한 VRAM을 차지하지 않고 저렴한 **시스템 메모리(RAM)**에 배치할 수 있습니다.

   • 예측: 미래에는 16GB VRAM을 헌 소비자용 그래픽 카드에 64GB 시스템 메모리를 조합하여 매개변수가 매우 큰 Engram 모델을 실행할 수 있을 것입니다.

2. 무한 컨텍스트의 잠재력: Engram 자체는 N-gram 조회이지만, 이 "외부 기억" 방식은 백만 단위의 컨텍스트를 처리하기 위한 새로운 해법을 제공합니다. 모든 토큰을 KV 캐시에 채워 넣을 필요 없이, 필요할 때 검색하면 됩니다.

5. 결론

DeepSeek V4는 단순히 매개변수를 "쌓는" 것이 아니라, 아키텍처 효율성을 수술하고 있습니다. Engram의 등장은 거대 모델이 단일 "신경망"에서 "신경망 + 기호"의 하이브리드 아키텍처로 진화하고 있음을 나타냅니다.

V4 가중치 공개를 기다리는 우리 개발자들에게 가장 큰 희소식은 이것입니다: DeepSeek는 여전히 오픈 소스를 고수하고 있습니다.

---

참고 자료:

• Paper: Conditional Memory via Scalable Lookup
• GitHub: deepseek-ai/Engram