Comment déployer DeepSeek V4 localement

1. Introduction

Le déploiement local de LLM est le rêve ultime pour les geeks et la meilleure garantie pour la confidentialité des données d'entreprise. DeepSeek V4, en tant que champion du monde open-source, prend naturellement en charge le déploiement privé local. Mais l'échelle de 671 milliards de paramètres n'est pas une blague. Cet article vous dira quelle taille d'« aquarium » il vous faut pour faire tenir cette « baleine géante » dans votre ordinateur personnel.

2. Configuration Matérielle Requise : Votre GPU peut-il le supporter ?

DeepSeek V4 est un modèle MoE (Mixture of Experts). Bien qu'il ait moins de paramètres actifs, le chargement des poids complets nécessite tout de même une VRAM massive.

Option A : Version Complète (BF16 / FP16)

Convient aux institutions de recherche et aux passionnés fortunés

• VRAM Requise : ~1,3 To - 1,5 To
• Config Recommandée : Cluster de 16x NVIDIA A100 (80 Go) ou H100
• Coût : Extrêmement élevé, ne convient pas aux particuliers.

Option B : Version Quantifiée 4-bit (Hautement Recommandée)

Convient aux passionnés et aux PME En raison des caractéristiques du MoE, nous pouvons ne charger que les poids des experts actifs. Combiné avec la quantification 4-bit, les besoins en VRAM sont considérablement réduits.

• VRAM Requise : ~350 Go - 400 Go
• Config Recommandée : 8x RTX 4090 (24 Go) ou 4x A100 (80 Go)
• Utilisateurs Mac : Mac Studio / Mac Pro avec 192 Go de mémoire unifiée (M2/M3 Ultra) peuvent à peine exécuter des versions quantifiées spécialement optimisées.

Option C : Quantification Extrême (1.58-bit / 2-bit)

Pour les adopteurs précoces Les experts de la communauté (comme TheBloke) pourraient publier des versions extrêmement quantifiées.

• VRAM Requise : Potentiellement ~150 Go
• Config Recommandée : 2-3 machines avec double 3090/4090 pour parallélisation de l'inférence (vLLM / llama.cpp).

3. Étapes d'Installation (Version Préliminaire)

Le tutoriel suivant est basé sur Linux (Ubuntu 22.04), en supposant que vous avez les pilotes NVIDIA et CUDA 12.x installés.

Étape 1 : Préparer l'environnement Python

conda create -n deepseek python=3.10
conda activate deepseek
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
pip install vllm>=0.4.0  # Recommandé d'utiliser vLLM pour une inférence à haute vitesse

Étape 2 : Télécharger les poids du modèle

Veuillez patienter pour la mise à jour du dépôt HuggingFace. Supposons que le nom du dépôt soit deepseek-ai/deepseek-v4-instruct.

# Installer git-lfs
git lfs install
# Télécharger le modèle (assurer 500 Go+ d'espace disque)
git clone https://huggingface.co/deepseek-ai/deepseek-v4-instruct-awq

Étape 3 : Démarrer le service d'inférence

Utilisez vLLM pour démarrer un service compatible avec l'API OpenAI :

python -m vllm.entrypoints.openai.api_server \
    --model ./deepseek-v4-instruct-awq \
    --trust-remote-code \
    --tensor-parallel-size 8 \  # Correspond à votre nombre de GPU
    --host 0.0.0.0 \
    --port 8000

Étape 4 : Tester l'appel

curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "deepseek-v4-instruct-awq",
        "messages": [{"role": "user", "content": "Bonjour, DeepSeek !"}]
    }'

4. Options de Quantification : La clé pour abaisser la barrière

Si vous n'avez pas 8x 4090, la quantification est la seule issue. DeepSeek V4 pourrait officiellement fournir des poids quantifiés au format AWQ ou GPTQ. L'utilisation de llama.cpp est recommandée car elle est extrêmement conviviale pour Apple Silicon (Mac).

# Utilisateurs Mac avec llama.cpp
./main -m deepseek-v4-q4_k_m.gguf -n 128 --n-gpu-layers 99

5. FAQ

Q : Cela plantera-t-il si la VRAM est insuffisante ? R : Oui. L'OOM (Out Of Memory) est courant. Si la VRAM est insuffisante, vLLM ne démarrera même pas. Calculez strictement votre VRAM totale.

Q : Que faire si la vitesse d'inférence est lente ? R : Dans l'inférence multi-GPU, la communication inter-cartes (NVLink/PCIe) est le goulot d'étranglement. Utilisez des cartes mères compatibles NVLink si possible, ou passez directement à des équipements de niveau serveur.

Q : Puis-je l'exécuter sur CPU ? R : Théoriquement llama.cpp supporte le CPU, mais pour un modèle de 671 milliards de paramètres, générer un caractère peut prendre des minutes - cela n'a aucune valeur pratique.

Note : Veuillez vous référer au README officiel pour les paramètres de configuration spécifiques.