DeepSeek V4 Yerel Olarak Nasıl Dağıtılır

1. Giriş

Yerel LLM dağıtımı, meraklılar için nihai bir romantizm ve kurumsal veri gizliliği için en iyi garantidir. Açık kaynak dünyasının şampiyonu olan DeepSeek V4, doğal olarak yerel özel dağıtımı destekler. Ancak 671B parametre ölçeği şaka değildir. Bu makale, bu "dev balinayı" ev bilgisayarınıza sığdırmak için ne kadar büyük bir "akvaryuma" ihtiyacınız olduğunu anlatacaktır.

2. Donanım Gereksinimleri: GPU'nuz Bunu Kaldırabilir mi?

DeepSeek V4, bir Uzmanlar Karışımı (MoE) modelidir. Daha az aktif parametreye sahip olmasına rağmen, tam ağırlıkları yüklemek yine de büyük miktarda VRAM gerektirir.

Seçenek A: Tam Sürüm (BF16 / FP16)

Araştırma kurumları ve varlıklı meraklılar için uygundur

• Gerekli VRAM: ~1.3TB - 1.5TB
• Önerilen Yapılandırma: 16x NVIDIA A100 (80GB) veya H100 kümesi
• Maliyet: Son derece yüksek, bireyler için uygun değildir.

Seçenek B: 4-bit Nicelleştirilmiş Sürüm (Şiddetle Tavsiye Edilir)

Meraklılar ve KOBİ'ler için uygundur MoE özellikleri nedeniyle, yalnızca aktif uzman ağırlıklarını yükleyebiliriz. 4-bit nicelleştirme (quantization) ile birleştirildiğinde, VRAM gereksinimleri önemli ölçüde azalır.

• Gerekli VRAM: ~350GB - 400GB
• Önerilen Yapılandırma: 8x RTX 4090 (24GB) veya 4x A100 (80GB)
• Mac Kullanıcıları: 192GB birleşik belleğe (M2/M3 Ultra) sahip Mac Studio / Mac Pro, özel olarak optimize edilmiş nicelleştirilmiş sürümleri zar zor çalıştırabilir.

Seçenek C: Aşırı Nicelleştirme (1.58-bit / 2-bit)

Erken benimseyenler için Topluluk uzmanları (TheBloke gibi) aşırı nicelleştirilmiş sürümler yayınlayabilir.

• Gerekli VRAM: Potansiyel olarak ~150GB
• Önerilen Yapılandırma: Çıkarım paralelleştirmesi (vLLM / llama.cpp) için çift 3090/4090'lı 2-3 makine.

3. Kurulum Adımları (Ön Sürüm)

Aşağıdaki eğitim Linux (Ubuntu 22.04) tabanlıdır ve NVIDIA sürücüleri ile CUDA 12.x'in kurulu olduğunu varsayar.

Adım 1: Python Ortamını Hazırlayın

conda create -n deepseek python=3.10
conda activate deepseek
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
pip install vllm>=0.4.0  # Yüksek hızlı çıkarım için vLLM kullanılması önerilir

Adım 2: Model Ağırlıklarını İndirin

Lütfen HuggingFace deposu güncellemesini sabırla bekleyin. Repo adının deepseek-ai/deepseek-v4-instruct olduğunu varsayalım.

# git-lfs yükleyin
git lfs install
# Modeli indirin (500GB+ disk alanı sağlayın)
git clone https://huggingface.co/deepseek-ai/deepseek-v4-instruct-awq

Adım 3: Çıkarım Hizmetini Başlatın

OpenAI API uyumlu bir hizmet başlatmak için vLLM kullanın:

python -m vllm.entrypoints.openai.api_server \
    --model ./deepseek-v4-instruct-awq \
    --trust-remote-code \
    --tensor-parallel-size 8 \  # GPU sayınızla eşleşmelidir
    --host 0.0.0.0 \
    --port 8000

Adım 4: Çağrıyı Test Edin

curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "deepseek-v4-instruct-awq",
        "messages": [{"role": "user", "content": "Merhaba, DeepSeek!"}]
    }'

4. Nicelleştirme Seçenekleri: Engeli Düşürmenin Anahtarı

Eğer 8x 4090'ınız yoksa, nicelleştirme tek çıkış yoludur. DeepSeek V4, resmi olarak AWQ veya GPTQ formatında nicelleştirilmiş ağırlıklar sağlayabilir. Apple Silicon (Mac) ile son derece uyumlu olduğu için llama.cpp kullanılması önerilir.

# llama.cpp ile Mac kullanıcıları
./main -m deepseek-v4-q4_k_m.gguf -n 128 --n-gpu-layers 99

5. SSS

S: VRAM yetersiz kalırsa çöker mi? C: Evet. OOM (Out Of Memory - Bellek Yetersiz) yaygındır. VRAM yetersizse, vLLM hiç başlamaz. Toplam VRAM'inizi kesin olarak hesaplayın.

S: Çıkarım hızı yavaşsa ne olur? C: Çoklu GPU çıkarımında, kartlar arası iletişim (NVLink/PCIe) darboğazdır. Mümkünse NVLink özellikli anakartlar kullanın veya doğrudan sunucu sınıfı ekipmana geçin.

S: CPU üzerinde çalıştırabilir miyim? C: Teorik olarak llama.cpp CPU'yu destekler, ancak 671B parametreli bir model için bir karakter oluşturmak dakikalar sürebilir - pratik bir değeri yoktur.

Not: Lütfen belirli yapılandırma parametreleri için resmi README dosyasına bakın.