چگونه DeepSeek V4 را به صورت محلی مستقر کنیم

1. مقدمه

استقرار محلی LLM عاشقانه نهایی برای گیک‌ها و بهترین تضمین برای حریم خصوصی داده‌های سازمانی است. DeepSeek V4، به عنوان قهرمان دنیای منبع باز، به طور طبیعی از استقرار خصوصی محلی پشتیبانی می‌کند. اما مقیاس پارامتر 671B شوخی نیست. این مقاله به شما می‌گوید که به چه "تنگ ماهی" بزرگی نیاز دارید تا این "نهنگ غول‌پیکر" را در کامپیوتر خانگی خود جا دهید.

2. الزامات سخت‌افزاری: آیا GPU شما از پس آن برمی‌آید؟

DeepSeek V4 یک مدل Mixture of Experts (MoE) است. اگرچه پارامترهای فعال کمتری دارد، بارگیری وزن‌های کامل همچنان به VRAM عظیمی نیاز دارد.

گزینه الف: نسخه کامل (BF16 / FP16)

مناسب برای موسسات تحقیقاتی و علاقه‌مندان ثروتمند

• VRAM مورد نیاز: ~1.3 ترابایت - 1.5 ترابایت
• پیکربندی پیشنهادی: خوشه 16x NVIDIA A100 (80GB) یا H100
• هزینه: بسیار بالا، مناسب برای افراد نیست.

گزینه ب: نسخه کوانتیزه شده 4 بیتی (بسیار پیشنهادی)

مناسب برای علاقه‌مندان و کسب‌وکارهای کوچک و متوسط به دلیل ویژگی‌های MoE، ما می‌توانیم فقط وزن‌های متخصصان فعال را بارگیری کنیم. همراه با کوانتیزاسیون 4 بیتی، نیازهای VRAM به میزان قابل توجهی کاهش می‌یابد.

• VRAM مورد نیاز: ~350 گیگابایت - 400 گیگابایت
• پیکربندی پیشنهادی: 8x RTX 4090 (24GB) یا 4x A100 (80GB)
• کاربران مک: Mac Studio / Mac Pro با 192 گیگابایت حافظه یکپارچه (M2/M3 Ultra) به سختی می‌توانند نسخه‌های کوانتیزه شده ویژه بهینه‌سازی شده را اجرا کنند.

گزینه ج: کوانتیزاسیون شدید (1.58 بیت / 2 بیت)

برای پذیرندگان اولیه متخصصان جامعه (مانند TheBloke) ممکن است نسخه‌های شدیداً کوانتیزه شده را منتشر کنند.

• VRAM مورد نیاز: احتمالاً ~150 گیگابایت
• پیکربندی پیشنهادی: 2-3 دستگاه با دو کارت گرافیک 3090/4090 برای موازی‌سازی استنتاج (vLLM / llama.cpp).

3. مراحل نصب (نسخه پیش‌انتشار)

آموزش زیر مبتنی بر لینوکس (Ubuntu 22.04) است، با فرض اینکه درایورهای NVIDIA و CUDA 12.x را نصب کرده‌اید.

مرحله 1: آماده‌سازی محیط پایتون

conda create -n deepseek python=3.10
conda activate deepseek
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
pip install vllm>=0.4.0  # استفاده از vLLM برای استنتاج با سرعت بالا پیشنهاد می‌شود

مرحله 2: دانلود وزن‌های مدل

لطفاً برای به‌روزرسانی مخزن HuggingFace صبور باشید. فرض کنید نام مخزن deepseek-ai/deepseek-v4-instruct است.

# نصب git-lfs
git lfs install
# دانلود مدل (اطمینان از فضای دیسک 500 گیگابایت+)
git clone https://huggingface.co/deepseek-ai/deepseek-v4-instruct-awq

مرحله 3: شروع سرویس استنتاج

از vLLM برای شروع یک سرویس سازگار با OpenAI API استفاده کنید:

python -m vllm.entrypoints.openai.api_server \
    --model ./deepseek-v4-instruct-awq \
    --trust-remote-code \
    --tensor-parallel-size 8 \  # با تعداد GPU شما مطابقت داشته باشد
    --host 0.0.0.0 \
    --port 8000

مرحله 4: تست فراخوانی

curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "deepseek-v4-instruct-awq",
        "messages": [{"role": "user", "content": "سلام، DeepSeek!"}]
    }'

4. گزینه‌های کوانتیزاسیون: کلید کاهش مانع

اگر 8x 4090 ندارید، کوانتیزاسیون تنها راه خروج است. DeepSeek V4 ممکن است به طور رسمی وزن‌های کوانتیزه شده با فرمت AWQ یا GPTQ را ارائه دهد. استفاده از llama.cpp پیشنهاد می‌شود زیرا با Apple Silicon (Mac) بسیار سازگار است.

# کاربران مک با llama.cpp
./main -m deepseek-v4-q4_k_m.gguf -n 128 --n-gpu-layers 99

5. سوالات متداول (FAQ)

س: آیا در صورت ناکافی بودن VRAM خراب می‌شود؟ پ: بله. OOM (کمبود حافظه) رایج است. اگر VRAM ناکافی باشد، vLLM حتی شروع نمی‌شود. کل VRAM خود را دقیق محاسبه کنید.

س: اگر سرعت استنتاج کند باشد چه؟ پ: در استنتاج چند GPU، ارتباط بین کارت‌ها (NVLink/PCIe) گلوگاه است. در صورت امکان از مادربردهای دارای قابلیت NVLink استفاده کنید یا مستقیماً سراغ تجهیزات کلاس سرور بروید.

س: آیا می‌توانم آن را روی CPU اجرا کنم؟ پ: از نظر تئوری llama.cpp از CPU پشتیبانی می‌کند، اما برای یک مدل 671 میلیارد پارامتری، تولید یک کاراکتر ممکن است دقایقی طول بکشد - ارزش عملی ندارد.

نکته: لطفاً برای پارامترهای پیکربندی خاص به README رسمی مراجعه کنید.