Explicación de la Arquitectura DeepSeek Engram: ¿Qué necesitamos además de MoE?
Profundizamos en el nuevo mecanismo de memoria 'Engram' de DeepSeek V4. ¿Cómo permite la recuperación de conocimientos O(1) como una búsqueda en el diccionario, liberando cómputo neuronal para el razonamiento lógico complejo?
DeepSeek Engram: Rompiendo los Límites de MoE, Abriendo la Era de la "Memoria Condicional"
2 de febrero de 2026 | Profundización Técnica
Entre los muchos rumores de DeepSeek V4, además de sus asombrosas capacidades de codificación, lo que más entusiasma a los geeks es ese misterioso nuevo componente: Engram.
Hoy, con el lanzamiento silencioso del repositorio deepseek-ai/Engram y la publicación del paper Conditional Memory via Scalable Lookup, finalmente tenemos un vistazo de él.
Si no es solo "otro MoE más grande", ¿qué problema resuelve Engram?
1. El punto de dolor: Los LLM no solo deben "pensar", sino también "recordar"
Los Transformers tradicionales son como genios extremadamente inteligentes sin cuadernos. No importa cuán simple sea el conocimiento (por ejemplo, "¿Cuál es la capital de París?"), deben usar un costoso cómputo neuronal (Atención y MLP) para "calcularlo".
Esto trae dos problemas:
- Desperdicio de cómputo: Usar cómputo de GPU para recordar hechos estáticos es como usar una supercomputadora para buscar en un diccionario: una exageración.
- Cuello de botella de capacidad: Los parámetros del modelo son responsables tanto del "razonamiento lógico" como del "almacenamiento de conocimientos". Cuando queremos un modelo más grande, solo podemos apilar más expertos MoE, pero esto aumenta significativamente el uso de VRAM y los costos de entrenamiento.
La respuesta de DeepSeek es: Desacoplar "Conocimiento" y "Razonamiento".
2. ¿Qué es Engram?
En pocas palabras, Engram es un súper diccionario externo basado en tablas.
Antes de que la red neuronal calcule, el módulo Engram funciona primero:
- Observa el texto de entrada actual (N-gram).
- Realiza una búsqueda de complejidad
O(1)en una tabla estática masiva. - El vector recuperado (Memoria) se inyecta directamente en la columna vertebral del modelo.
Analogía: Modelos anteriores: Encuentran una palabra nueva, usan el cerebro para adivinar el significado (consume cerebro). Modelo actual: Encuentran una palabra nueva, consultan el diccionario primero y toman la definición para pensar (el cerebro solo se usa para entender el contexto).
3. Arquitectura central: Ley de escalado en forma de U
La parte más emocionante del paper es la discusión sobre la "Asignación de escasez". DeepSeek descubrió una Ley de escalado en forma de U:
Dado un cómputo total fijo (FLOPs) y un recuento de parámetros:
- Si todo se asigna a MoE (puro cómputo), el modelo se vuelve tonto porque la memoria es insuficiente.
- Si todo se asigna a Engram (pura memoria), el modelo se vuelve tonto porque la capacidad de razonamiento es insuficiente.
DeepSeek V4 (Engram-27B) encontró ese punto de equilibrio perfecto.
Al introducir Engram, V4 logró con éxito:
- Liberar capas superficiales: El análisis mecánico muestra que las capas superficiales ya no necesitan luchar para reconstruir patrones de lenguaje simples; simplemente pueden "buscar" en la tabla.
- Profundizar la profundidad efectiva: Dado que las capas superficiales se ahorran, las capas profundas pueden centrarse más en el razonamiento matemático complejo y la lógica del código. Es por eso que la capacidad de codificación de V4 (HumanEval+) se disparó.
4. ¿Por qué es esto importante para los desarrolladores?
-
Implementación local más amigable: La búsqueda de Engram es determinista, lo que admite la Eficiencia consciente de la infraestructura. Esto significa que esta enorme "tabla de memoria" se puede colocar en una RAM del sistema barata, sin ocupar la preciosa VRAM.
- Predicción: Las futuras GPU de consumo con 16 GB de VRAM, combinadas con 64 GB de RAM del sistema, podrán ejecutar modelos Engram de parámetros extremadamente grandes.
-
Potencial para contexto infinito: Aunque Engram en sí mismo es una búsqueda de N-gram, este enfoque de "memoria externa" proporciona una nueva solución para manejar contextos de nivel de millón: no es necesario rellenar cada Token en KV Cache, sino recuperar a demanda.
5. Resumen
DeepSeek V4 no es solo "apilar" parámetros, sino realizar una cirugía en la eficiencia arquitectónica. La aparición de Engram marca la evolución de los grandes modelos de "redes neuronales" individuales a arquitecturas híbridas "neuronales + simbólicas".
Para nosotros, los desarrolladores que esperamos los pesos de V4, la mejor noticia es: DeepSeek todavía insiste en el código abierto.
Referencias:
Author
Table of Contents
More Posts
OpenAI lanza GPT-5.4: ¡1M de contexto + Agentes nativos para frenar a DeepSeek V4!
OpenAI ha lanzado por sorpresa su modelo insignia GPT-5.4, con 1 millón de contexto nativo y un motor de agentes, buscando establecer una muralla tecnológica ante el lanzamiento de DeepSeek V4.
Toda la red espera el banquete de DeepSeek V4, ¿por qué no se destapa la olla? ¡La verdad es más 'hardcore' de lo que piensas!
¿Por qué DeepSeek V4 faltó a su cita del 2 de marzo? Revelamos las tres grandes apuestas tras el retraso: migración a la infraestructura de cómputo nacional, buque insignia multimodal y ventana de lanzamiento estratégica.
La guerra de los modelos ligeros: GPT-5.3 Instant y Gemini 3.1 Flash-Lite llegan – ¿Cómo mantiene DeepSeek V4 su liderazgo?
Con el lanzamiento simultáneo de GPT-5.3 Instant y Gemini 3.1 Flash-Lite por OpenAI y Google, el mercado de modelos ligeros está en ebullición. Análisis de su impacto en ecosistemas de Agentes como OpenClaw y las ventajas competitivas de DeepSeek V4.
Boletín
Únete a la comunidad
Suscríbete a nuestro boletín para las últimas noticias y actualizaciones