DeepSeek V4をローカルにデプロイする方法

1. はじめに

ローカルLLMデプロイメントは、ギークにとって究極のロマンであり、企業のデータプライバシーを保証する最良の方法です。オープンソース界のチャンピオンであるDeepSeek V4は、当然ながらローカルのプライベートデプロイメントをサポートしています。しかし、6710億パラメータという規模は冗談ではありません。この記事では、この「巨大なクジラ」を自宅のコンピュータに収めるために、どれくらいの大きさの「水槽」が必要かを説明します。

2. ハードウェア要件：GPUは耐えられますか？

DeepSeek V4はMoE（Mixture of Experts）モデルです。アクティブなパラメータは少ないものの、完全な重みをロードするには依然として大量のVRAMが必要です。

オプションA：完全版（BF16 / FP16）

研究機関や裕福な愛好家向け

• 必要なVRAM: ~1.3TB - 1.5TB
• 推奨構成: 16x NVIDIA A100 (80GB) または H100 クラスター
• コスト: 極めて高く、個人には不向きです。

オプションB：4ビット量子化版（強く推奨）

愛好家や中小企業向け MoEの特性により、アクティブなエキスパートの重みのみをロードすることができます。4ビット量子化と組み合わせることで、VRAM要件は大幅に削減されます。

• 必要なVRAM: ~350GB - 400GB
• 推奨構成: 8x RTX 4090 (24GB) または 4x A100 (80GB)
• Macユーザー: 192GBユニファイドメモリを搭載したMac Studio / Mac Pro (M2/M3 Ultra) であれば、特別に最適化された量子化バージョンをかろうじて実行できる可能性があります。

オプションC：極限量子化（1.58-bit / 2-bit）

アーリーアダプター向け コミュニティの専門家（TheBlokeなど）が極限まで量子化されたバージョンをリリースする可能性があります。

• 必要なVRAM: 潜在的に ~150GB
• 推奨構成: **推論の並列化（vLLM / llama.cpp）**のために、デュアル3090/4090を搭載したマシンを2〜3台。

3. インストール手順（プレリリース版）

以下のチュートリアルはLinux（Ubuntu 22.04）に基づいており、NVIDIAドライバとCUDA 12.xがインストールされていることを前提としています。

ステップ1：Python環境の準備

conda create -n deepseek python=3.10
conda activate deepseek
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
pip install vllm>=0.4.0  # 高速推論にはvLLMの使用を推奨

ステップ2：モデルの重みをダウンロード

HuggingFaceリポジトリの更新を今しばらくお待ちください。リポジトリ名を deepseek-ai/deepseek-v4-instruct と仮定します。

# git-lfsのインストール
git lfs install
# モデルのダウンロード（500GB以上のディスク容量を確保してください）
git clone https://huggingface.co/deepseek-ai/deepseek-v4-instruct-awq

ステップ3：推論サービスの開始

vLLMを使用して、OpenAI API互換のサービスを開始します：

python -m vllm.entrypoints.openai.api_server \
    --model ./deepseek-v4-instruct-awq \
    --trust-remote-code \
    --tensor-parallel-size 8 \  # GPUの数に合わせてください
    --host 0.0.0.0 \
    --port 8000

ステップ4：呼び出しのテスト

curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "deepseek-v4-instruct-awq",
        "messages": [{"role": "user", "content": "こんにちは、DeepSeek！"}]
    }'

4. 量子化オプション：障壁を下げる鍵

8枚の4090を持っていない場合、量子化が唯一の逃げ道です。 DeepSeek V4は、AWQまたはGPTQ形式の量子化された重みを公式に提供する可能性があります。 Apple Silicon (Mac) に非常に親和性の高い llama.cpp の使用をお勧めします。

# llama.cppを使用するMacユーザー
./main -m deepseek-v4-q4_k_m.gguf -n 128 --n-gpu-layers 99

5. よくある質問（FAQ）

Q: VRAMが不足している場合、クラッシュしますか？ A: はい。OOM（Out Of Memory）はよくあります。VRAMが不足している場合、vLLMは起動すらしません。合計VRAMを厳密に計算してください。

Q: 推論速度が遅い場合はどうすればよいですか？ A: マルチGPU推論では、カード間の通信（NVLink/PCIe）がボトルネックになります。可能であればNVLink対応のマザーボードを使用するか、サーバーグレードの機器に直接移行してください。

Q: CPUで実行できますか？ A: 理論的には llama.cpp はCPUをサポートしていますが、6710億パラメータのモデルでは、1文字の生成に数分かかる可能性があり、実用的な価値はありません。

注：具体的な設定パラメータについては、公式のREADMEを参照してください。