Bagaimana Cara Menerapkan DeepSeek V4 Secara Lokal

1. Pengantar

Penerapan LLM lokal adalah romansa pamungkas bagi para geek dan jaminan terbaik untuk privasi data perusahaan. DeepSeek V4, sebagai juara dunia open-source, secara alami mendukung penerapan pribadi lokal. Tapi skala parameter 671B bukan lelucon. Artikel ini akan memberi tahu Anda seberapa besar "tangki ikan" yang Anda perlukan untuk memuat "paus raksasa" ini di komputer rumah Anda.

2. Persyaratan Perangkat Keras: Bisakah GPU Anda Menanganinya?

DeepSeek V4 adalah model Mixture of Experts (MoE). Meskipun memiliki parameter aktif yang lebih sedikit, memuat bobot penuh masih memerlukan VRAM yang sangat besar.

Opsi A: Versi Penuh (BF16 / FP16)

Cocok untuk lembaga penelitian dan penggemar kaya

• VRAM Diperlukan: ~1.3TB - 1.5TB
• Konfigurasi yang Disarankan: Kluster 16x NVIDIA A100 (80GB) atau H100
• Biaya: Sangat tinggi, tidak cocok untuk individu.

Opsi B: Versi Terkuantisasi 4-bit (Sangat Disarankan)

Cocok untuk penggemar dan UKM Karena karakteristik MoE, kita hanya dapat memuat bobot ahli yang aktif. Dikombinasikan dengan kuantisasi 4-bit, persyaratan VRAM berkurang secara signifikan.

• VRAM Diperlukan: ~350GB - 400GB
• Konfigurasi yang Disarankan: 8x RTX 4090 (24GB) atau 4x A100 (80GB)
• Pengguna Mac: Mac Studio / Mac Pro dengan memori terpadu 192GB (M2/M3 Ultra) hampir tidak dapat menjalankan versi terkuantisasi yang dioptimalkan secara khusus.

Opsi C: Kuantisasi Ekstrem (1.58-bit / 2-bit)

Untuk pengadopsi awal Pakar komunitas (seperti TheBloke) mungkin merilis versi terkuantisasi ekstrem.

• VRAM Diperlukan: Berpotensi ~150GB
• Konfigurasi yang Disarankan: 2-3 mesin dengan dual 3090/4090 untuk paralelisasi inferensi (vLLM / llama.cpp).

3. Langkah Instalasi (Versi Pra-rilis)

Tutorial berikut didasarkan pada Linux (Ubuntu 22.04), dengan asumsi Anda telah menginstal driver NVIDIA dan CUDA 12.x.

Langkah 1: Siapkan Lingkungan Python

conda create -n deepseek python=3.10
conda activate deepseek
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
pip install vllm>=0.4.0  # Disarankan menggunakan vLLM untuk inferensi kecepatan tinggi

Langkah 2: Unduh Bobot Model

Harap tunggu dengan sabar untuk pembaruan repositori HuggingFace. Asumsikan nama repo adalah deepseek-ai/deepseek-v4-instruct.

# Instal git-lfs
git lfs install
# Unduh model (pastikan ruang disk 500GB+)
git clone https://huggingface.co/deepseek-ai/deepseek-v4-instruct-awq

Langkah 3: Mulai Layanan Inferensi

Gunakan vLLM untuk memulai layanan yang kompatibel dengan OpenAI API:

python -m vllm.entrypoints.openai.api_server \
    --model ./deepseek-v4-instruct-awq \
    --trust-remote-code \
    --tensor-parallel-size 8 \  # Sesuaikan dengan jumlah GPU Anda
    --host 0.0.0.0 \
    --port 8000

Langkah 4: Uji Panggilan

curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "deepseek-v4-instruct-awq",
        "messages": [{"role": "user", "content": "Halo, DeepSeek!"}]
    }'

4. Opsi Kuantisasi: Kunci untuk Menurunkan Penghalang

Jika Anda tidak memiliki 8x 4090, kuantisasi adalah satu-satunya jalan keluar. DeepSeek V4 mungkin secara resmi menyediakan bobot terkuantisasi format AWQ atau GPTQ. Menggunakan llama.cpp disarankan karena sangat ramah terhadap Apple Silicon (Mac).

# Pengguna Mac dengan llama.cpp
./main -m deepseek-v4-q4_k_m.gguf -n 128 --n-gpu-layers 99

5. FAQ

Q: Apakah akan crash jika VRAM tidak mencukupi? A: Ya. OOM (Out Of Memory) biasa terjadi. Jika VRAM tidak mencukupi, vLLM bahkan tidak akan memulai. Hitung total VRAM Anda dengan ketat.

Q: Bagaimana jika kecepatan inferensi lambat? A: Dalam inferensi multi-GPU, komunikasi antar-kartu (NVLink/PCIe) adalah penghambatnya. Gunakan motherboard berkemampuan NVLink jika memungkinkan, atau langsung ke peralatan kelas server.

Q: Bisakah saya menjalankannya di CPU? A: Secara teoritis llama.cpp mendukung CPU, namun untuk model parameter 671B, menghasilkan satu karakter mungkin memakan waktu beberapa menit - tidak memiliki nilai praktis.

Catatan: Silakan merujuk ke README resmi untuk parameter konfigurasi tertentu.