如何在本地部署 DeepSeek V4

1. 引言

本地部署大模型 (Local LLM) 是极客们的终极浪漫，也是企业数据隐私的最佳保障。DeepSeek V4 作为开源界的扛把子，自然支持本地私有化部署。但 671B 的参数规模可不是闹着玩的。本文将告诉你，把这头"巨鲸"装进自家电脑需要多大的"鱼缸"。

2. 硬件要求：你的显卡顶得住吗？

DeepSeek V4 是一个混合专家模型 (MoE)，虽然激活参数较少，但加载完整权重依然需要巨大的显存。

方案 A: 完整版 (BF16 / FP16)

适合科研机构和土豪玩家

• 显存需求: 约 1.3TB - 1.5TB
• 推荐配置: 16张 NVIDIA A100 (80GB) 或 H100 集群
• 成本: 极高，不适合个人。

方案 B: 4-bit 量化版 (强烈推荐)

适合发烧友和中小企业 由于 MoE 的特性，我们可以只加载活跃专家的权重，结合 4-bit 量化技术，显存需求大幅降低。

• 显存需求: 约 350GB - 400GB
• 推荐配置: 8张 RTX 4090 (24GB) 或 4张 A100 (80GB)
• MAC 用户: 配备 192GB 统一内存的 Mac Studio / Mac Pro (M2/M3 Ultra) 可以勉强运行特定优化的量化版本。

方案 C: 极限量化 (1.58-bit / 2-bit)

适合尝鲜 社区的大神（如 TheBloke）可能会推出极限量化版。

• 显存需求: 可能压到 150GB 左右
• 推荐配置: 2-3 台配有双 3090/4090 的机器进行 推理并联 (vLLM / llama.cpp)。

3. 安装步骤 (预发布版)

以下教程基于 Linux 环境 (Ubuntu 22.04)，假设你已经安装了 NVIDIA 驱动和 CUDA 12.x。

步骤 1: 准备 Python 环境

conda create -n deepseek python=3.10
conda activate deepseek
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
pip install vllm>=0.4.0  # 推荐使用 vLLM 进行高速推理

步骤 2: 下载模型权重

请耐心等待 HuggingFace 仓库更新。假设仓库名为 deepseek-ai/deepseek-v4-instruct。

# 安装 git-lfs
git lfs install
# 下载模型 (请确保有 500GB+ 磁盘空间)
git clone https://huggingface.co/deepseek-ai/deepseek-v4-instruct-awq

步骤 3: 启动推理服务

使用 vLLM 启动兼容 OpenAI API 的服务：

python -m vllm.entrypoints.openai.api_server \
    --model ./deepseek-v4-instruct-awq \
    --trust-remote-code \
    --tensor-parallel-size 8 \  # 对应你的显卡数量
    --host 0.0.0.0 \
    --port 8000

步骤 4: 测试调用

curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "deepseek-v4-instruct-awq",
        "messages": [{"role": "user", "content": "你好，DeepSeek！"}]
    }'

4. 量化方案：降低门槛的关键

如果你没有 8 张 4090，量化 (Quantization) 是唯一的出路。 DeepSeek V4 官方可能会直接提供 AWQ 或 GPTQ 格式的量化权重。 推荐使用 llama.cpp，因为它对 Apple Silicon (Mac) 极其友好。

# Mac 用户使用 llama.cpp
./main -m deepseek-v4-q4_k_m.gguf -n 128 --n-gpu-layers 99

5. 常见问题

Q: 显存不够会爆吗？ A: 会。OOM (Out Of Memory) 是常态。如果显存不够，vLLM 甚至无法启动。请严格计算你的 VRAM 总和。

Q: 推理速度慢怎么办？ A: 多卡推理时，卡间通信 (NVLink/PCIe) 是瓶颈。尽量使用支持 NVLink 的主板，或者直接上服务器。

Q: 能用 CPU 跑吗？ A: 理论上 llama.cpp 支持 CPU，但对于 671B 参数的模型，生成一个字可能需要几分钟，没有任何实用价值。

注：具体配置参数请以官方发布的 README 为准。