DeepSeek V4를 로컬에 배포하는 방법

1. 소개

로컬 LLM 배포는 괴짜들에게는 최고의 로망이자 기업 데이터 프라이버시를 위한 최고의 보증입니다. 오픈 소스 세계의 챔피언인 DeepSeek V4는 자연스럽게 로컬 개인 배포를 지원합니다. 하지만 6710억 매개변수 규모는 장난이 아닙니다. 이 글에서는 가정용 컴퓨터에 이 "거대한 고래"를 넣으려면 얼마나 큰 "어항"이 필요한지 알려드립니다.

2. 하드웨어 요구 사항: 당신의 GPU가 감당할 수 있습니까?

DeepSeek V4는 MoE(Mixture of Experts) 모델입니다. 활성 매개변수는 적지만 전체 가중치를 로드하려면 여전히 막대한 VRAM이 필요합니다.

옵션 A: 정식 버전 (BF16 / FP16)

연구 기관 및 부유한 애호가에게 적합

• 필요 VRAM: ~1.3TB - 1.5TB
• 권장 구성: 16x NVIDIA A100 (80GB) 또는 H100 클러스터
• 비용: 매우 높음, 개인에게 적합하지 않음.

옵션 B: 4비트 양자화 버전 (강력 추천)

애호가 및 중소기업에 적합 MoE 특성상 활성 전문가 가중치만 로드할 수 있습니다. 4비트 양자화와 결합하면 VRAM 요구 사항이 크게 줄어듭니다.

• 필요 VRAM: ~350GB - 400GB
• 권장 구성: 8x RTX 4090 (24GB) 또는 4x A100 (80GB)
• Mac 사용자: 192GB 통합 메모리(M2/M3 Ultra)가 탑재된 Mac Studio / Mac Pro는 특별히 최적화된 양자화 버전을 간신히 실행할 수 있습니다.

옵션 C: 극한 양자화 (1.58-bit / 2-bit)

얼리 어답터를 위해 커뮤니티 전문가(TheBloke 등)가 극한으로 양자화된 버전을 출시할 수 있습니다.

• 필요 VRAM: 잠재적으로 ~150GB
• 권장 구성: **추론 병렬화(vLLM / llama.cpp)**를 위한 듀얼 3090/4090이 장착된 머신 2-3대.

3. 설치 단계 (사전 릴리스 버전)

다음 튜토리얼은 Linux(Ubuntu 22.04)를 기반으로 하며 NVIDIA 드라이버와 CUDA 12.x가 설치되어 있다고 가정합니다.

1단계: Python 환경 준비

conda create -n deepseek python=3.10
conda activate deepseek
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
pip install vllm>=0.4.0  # 고속 추론을 위해 vLLM 사용 권장

2단계: 모델 가중치 다운로드

HuggingFace 저장소 업데이트를 인내심을 갖고 기다려 주십시오. 저장소 이름이 deepseek-ai/deepseek-v4-instruct라고 가정합니다.

# git-lfs 설치
git lfs install
# 모델 다운로드 (500GB+ 디스크 공간 확보)
git clone https://huggingface.co/deepseek-ai/deepseek-v4-instruct-awq

3단계: 추론 서비스 시작

vLLM을 사용하여 OpenAI API 호환 서비스를 시작합니다:

python -m vllm.entrypoints.openai.api_server \
    --model ./deepseek-v4-instruct-awq \
    --trust-remote-code \
    --tensor-parallel-size 8 \  # GPU 수에 맞춰 조정
    --host 0.0.0.0 \
    --port 8000

4단계: 호출 테스트

curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "deepseek-v4-instruct-awq",
        "messages": [{"role": "user", "content": "안녕, DeepSeek!"}]
    }'

4. 양자화 옵션: 장벽을 낮추는 열쇠

8x 4090이 없다면 양자화가 유일한 탈출구입니다. DeepSeek V4는 공식적으로 AWQ 또는 GPTQ 형식의 양자화된 가중치를 제공할 수 있습니다. Apple Silicon(Mac)에 매우 친화적인 llama.cpp를 사용하는 것이 좋습니다.

# llama.cpp를 사용하는 Mac 사용자
./main -m deepseek-v4-q4_k_m.gguf -n 128 --n-gpu-layers 99

5. 자주 묻는 질문 (FAQ)

Q: VRAM이 부족하면 충돌합니까? A: 네. OOM(Out Of Memory)은 흔합니다. VRAM이 부족하면 vLLM이 시작조차 되지 않습니다. 총 VRAM을 엄격하게 계산하십시오.

Q: 추론 속도가 느리면 어떻게 합니까? A: 멀티 GPU 추론에서는 카드 간 통신(NVLink/PCIe)이 병목 현상입니다. 가능하면 NVLink 지원 마더보드를 사용하거나 서버급 장비로 직접 이동하십시오.

Q: CPU에서 실행할 수 있습니까? A: 이론적으로 llama.cpp는 CPU를 지원하지만 6710억 매개변수 모델의 경우 한 문자를 생성하는 데 몇 분이 걸릴 수 있어 실용적인 가치가 없습니다.

참고: 특정 구성 매개변수는 공식 README를 참조하십시오.