Wie man DeepSeek V4 lokal bereitstellt

1. Einleitung

Lokale LLM-Bereitstellung ist die ultimative Romantik für Geeks und der beste Garant für Datensicherheit im Unternehmen. DeepSeek V4, als Champion der Open-Source-Welt, unterstützt natürlich die lokale private Bereitstellung. Aber die Parametergröße von 671B ist kein Scherz. Dieser Artikel erklärt Ihnen, wie groß das "Aquarium" sein muss, um diesen "Riesenwahl" in Ihren Computer zu Hause zu passen.

2. Hardware-Anforderungen: Schafft Ihre GPU das?

DeepSeek V4 ist ein MoE (Mixture of Experts) Modell. Obwohl es weniger aktive Parameter hat, erfordert das Laden der vollständigen Gewichte dennoch massiven VRAM.

Option A: Vollversion (BF16 / FP16)

Geeignet für Forschungseinrichtungen und wohlhabende Enthusiasten

• Benötigter VRAM: ~1,3TB - 1,5TB
• Empfohlene Konfig: 16x NVIDIA A100 (80GB) oder H100 Cluster
• Kosten: Extrem hoch, nicht für Einzelpersonen geeignet.

Option B: 4-bit Quantisierte Version (Dringend Empfohlen)

Geeignet für Enthusiasten und KMUs Aufgrund der MoE-Charakteristik können wir nur die aktiven Expertengewichte laden. Kombiniert mit 4-bit Quantisierung wird der VRAM-Bedarf erheblich reduziert.

• Benötigter VRAM: ~350GB - 400GB
• Empfohlene Konfig: 8x RTX 4090 (24GB) oder 4x A100 (80GB)
• Mac-Nutzer: Mac Studio / Mac Pro mit 192GB Unified Memory (M2/M3 Ultra) können speziell optimierte quantisierte Versionen knapp ausführen.

Option C: Extreme Quantisierung (1.58-bit / 2-bit)

Für Early Adopters Experten der Community (wie TheBloke) könnten extrem quantisierte Versionen veröffentlichen.

• Benötigter VRAM: Möglicherweise ~150GB
• Empfohlene Konfig: 2-3 Maschinen mit Dual 3090/4090 für Inferenz-Parallelisierung (vLLM / llama.cpp).

3. Installationsschritte (Vorabversion)

Das folgende Tutorial basiert auf Linux (Ubuntu 22.04), unter der Annahme, dass Sie NVIDIA-Treiber und CUDA 12.x installiert haben.

Schritt 1: Python-Umgebung vorbereiten

conda create -n deepseek python=3.10
conda activate deepseek
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
pip install vllm>=0.4.0  # Empfohlen: vLLM für High-Speed-Inferenz

Schritt 2: Modellgewichte herunterladen

Bitte warten Sie geduldig auf das Update des HuggingFace-Repositorys. Angenommen, der Repo-Name lautet deepseek-ai/deepseek-v4-instruct.

# git-lfs installieren
git lfs install
# Modell herunterladen (mindestens 500GB+ Speicherplatz sicherstellen)
git clone https://huggingface.co/deepseek-ai/deepseek-v4-instruct-awq

Schritt 3: Inferenz-Dienst starten

Verwenden Sie vLLM, um einen OpenAI API-kompatiblen Dienst zu starten:

python -m vllm.entrypoints.openai.api_server \
    --model ./deepseek-v4-instruct-awq \
    --trust-remote-code \
    --tensor-parallel-size 8 \  # Passen Sie dies an Ihre GPU-Anzahl an
    --host 0.0.0.0 \
    --port 8000

Schritt 4: Den Aufruf testen

curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "deepseek-v4-instruct-awq",
        "messages": [{"role": "user", "content": "Hallo, DeepSeek!"}]
    }'

4. Quantisierungsoptionen: Der Schlüssel zur Senkung der Hürde

Wenn Sie keine 8x 4090 haben, ist Quantisierung der einzige Ausweg. DeepSeek V4 wird möglicherweise offiziell AWQ oder GPTQ Format quantisierte Gewichte bereitstellen. Die Verwendung von llama.cpp wird empfohlen, da es extrem freundlich zu Apple Silicon (Mac) ist.

# Mac-Nutzer mit llama.cpp
./main -m deepseek-v4-q4_k_m.gguf -n 128 --n-gpu-layers 99

5. FAQ

F: Stürzt es ab, wenn der VRAM nicht ausreicht? A: Ja. OOM (Out Of Memory) ist häufig. Wenn der VRAM nicht ausreicht, startet vLLM gar nicht erst. Berechnen Sie Ihren gesamten VRAM genau.

F: Was, wenn die Inferenzgeschwindigkeit langsam ist? A: Bei Multi-GPU-Inferenz ist die Kommunikation zwischen den Karten (NVLink/PCIe) der Flaschenhals. Verwenden Sie möglichst NVLink-fähige Mainboards oder greifen Sie direkt zu Server-Hardware.

F: Kann ich es auf der CPU ausführen? A: Theoretisch unterstützt llama.cpp CPU, aber für ein 671B-Parameter-Modell kann die Generierung eines Zeichens Minuten dauern – das hat keinen praktischen Wert.

Hinweis: Bitte beachten Sie die offizielle README für spezifische Konfigurationsparameter.