一、核心选型决策

明确结论：企业生产环境请选择 vLLM + Docker 部署；个人测试/原型验证阶段可选择 Ollama。

对比维度	vLLM（生产推荐）	Ollama（测试推荐）
核心定位	高性能推理与分布式扩展	轻量化本地部署
适用场景	高并发生产环境、API 服务	开发测试、快速原型验证
吞吐量	高（连续批处理 + PagedAttention）	较低
GPU 利用率	高，支持多卡并行	单机优化，多卡支持有限
配置复杂度	较高，需要理解并行策略	开箱即用
依赖环境	Python 3.10 + CUDA 12.x	Docker 容器

生产环境建议：使用 vLLM 的 Docker 镜像部署，与业务现有技术栈（Java + Spring Cloud）无缝衔接，提供 OpenAI 兼容 API。

注意：本方案在第 7.2 节提供了 vLLM 显存不满足情况下的备选方案——SGLang 部署，以及通过 TensorRT-LLM 进一步压榨 GPU 性能的生产级优化。

二、硬件配置方案

根据模型规模和预算选择对应的配置：

2.1 高性能生产环境（满血版）

组件	推荐配置	说明
GPU	4× NVIDIA A100 80GB（如 Ubuntu AI Pro V2 2U 8 × A100 80GB）	或 2× H100 80GB，支持 FP8 混合精度
内存	512GB DDR4 ECC	支持多模型并行加载
CPU	2× Intel Xeon Platinum 8380（28核）	预处理任务及轻量推理
存储	2× NVMe SSD 4TB（RAID 0）	模型文件约 1.3TB，需要 2TB 以上空间
网络	10Gbps+	保障服务间低延迟通信

V4-Flash（284B 总参，13B 激活）显存需求：FP8 约 500GB，需 2 张 H100 80GB。如果预算充裕，V4-Pro（1.6T 总参，49B 激活）需 16 张 H100 80GB（约 2.4TB），适用于复杂推理任务。

三、操作系统与依赖环境准备

3.1 系统选择

推荐 Ubuntu 22.04 LTS 或 Alibaba Cloud Linux 3.2104（适合阿里云环境）

3.2 基础环境安装

# 更新系统
sudo apt update && sudo apt upgrade -y
sudo apt install -y python3.10 python3-pip build-essential git

# 安装 NVIDIA 驱动（驱动版本需 ≥550，确保 CUDA 12.1+ 兼容）
sudo apt install -y nvidia-driver-550
nvidia-smi   # 确认 GPU 可见

# 验证 CUDA 可用性
python3 -c "import torch; print(torch.cuda.is_available())"  # 应返回 True

3.3 创建隔离的 Python 环境（避免依赖冲突）

# 使用 Conda
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
bash Miniconda3-latest-Linux-x86_64.sh
conda create -n deepseek_prod python=3.10 -y
conda activate deepseek_prod

# 安装 CUDA 与 cuDNN
conda install -c nvidia cuda-toolkit=12.1 -y
conda install -c nvidia cudnn=8.9.7 -y

# 验证安装
python -c "import torch; print('CUDA available:', torch.cuda.is_available()); print('CUDA version:', torch.version.cuda)"

关键验证点：执行 nvidia-smi 确认 GPU 可见性，执行 python -c "import torch; print(torch.cuda.is_available())" 验证 CUDA 可用性。

四、模型文件获取（权重下载）

4.1 从 Hugging Face 官方源下载

# 使用 Hugging Face 命令行工具
pip install huggingface_hub

# 登录 Hugging Face（如需要认证）
huggingface-cli login

# 下载 DeepSeek-V3.1 模型（完整权重约 1.3 TB）
huggingface-cli download deepseek-ai/DeepSeek-V3.1 --local-dir ./models/DeepSeek-V3.1

4.2 国内镜像加速（推荐国内用户使用）

# 使用 Hugging Face 国内镜像
export HF_ENDPOINT=https://hf-mirror.com

# 模型分块下载并校验 SHA256
huggingface-cli download deepseek-ai/DeepSeek-V3.1 --local-dir ./models/DeepSeek-V3.1 --resume-download

注意事项：

• 模型文件体积约 1.3 TiB，建议预留 2 TB 以上存储空间。
• 使用断点续传下载，避免大文件网络波动导致失败。
• 下载后建议执行 SHA256 哈希值比对，确保模型权重完整。

五、vLLM 服务部署方案

5.1 Docker 部署（生产推荐）

# 拉取 vLLM 官方镜像（建议使用最新稳定版）
docker pull vllm/vllm-openai:v0.20.0

# 启动 DeepSeek 推理服务（单机多卡，以 V4-Pro 为例）
docker run -it --rm \
  --runtime=nvidia \
  --gpus all \
  --ipc=host \
  --shm-size=128g \
  -p 8000:8000 \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  -e HF_TOKEN='YOUR_HF_TOKEN' \
  vllm/vllm-openai:v0.20.0 \
  deepseek-ai/DeepSeek-V4-Pro \
  --tensor-parallel-size 8 \
  --max-model-len auto \
  --max-num-batched-tokens 65536 \
  --gpu-memory-utilization 0.90 \
  --kv-cache-dtype fp8 \
  --trust-remote-code

关键参数说明：

• tensor-parallel-size 8：8 卡张量并行，根据 GPU 数量调整。
• gpu-memory-utilization 0.90：GPU 内存使用率，建议 0.85-0.90。
• kv-cache-dtype fp8：KV Cache 使用 FP8 精度，降低显存占用。
• trust-remote-code：必须开启，支持 DeepSeek 自定义模型代码。
• max-model-len：设置为 auto 自动推导，或按业务需求指定。

模型版本选择速查表：

模型	参数量	激活参数量	推荐部署命令
DeepSeek-V4-Pro	1.6T	49B	deepseek-ai/DeepSeek-V4-Pro（需多机集群）
DeepSeek-V4-Flash	284B	13B	deepseek-ai/DeepSeek-V4-Flash（2×H100/单机8卡）
DeepSeek-V3.1	671B	37B	deepseek-ai/DeepSeek-V3.1（4×A100 80GB）

5.2 Python 源码部署

# 安装 vLLM
pip install vllm

# 启动 OpenAI 兼容服务
python -m vllm.entrypoints.openai.api_server \
  --model /path/to/DeepSeek-V3.1 \
  --tensor-parallel-size 4 \
  --max-model-len 8192 \
  --gpu-memory-utilization 0.85

5.3 服务验证

# 检查服务状态
curl http://192.193.1.133:8000/health

# 调用 chat completions 接口测试
curl http://192.193.1.133:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek-ai/DeepSeek-V4-Flash",
    "messages": [{"role": "user", "content": "你好，请介绍一下你自己。"}]
  }'

六、Embedding 模型部署

由于 DeepSeek 主模型默认不提供 /v1/embeddings 接口，建议单独部署一个 Embedding 服务（基于 sentence-transformers），用于 Java 中的向量化存储需求。

6.1 Embedding 服务部署（FastAPI 方案）

# embed_server.py
from fastapi import FastAPI
from pydantic import BaseModel
from sentence_transformers import SentenceTransformer

app = FastAPI()
model = SentenceTransformer('BAAI/bge-large-zh-v1.5')  # 或 text2vec-large

class EmbedRequest(BaseModel):
    input: str

@app.post("/v1/embeddings")
def embed(request: EmbedRequest):
    vector = model.encode(request.input).tolist()
    return {"data": [{"embedding": vector, "index": 0}]}

if __name__ == "__main__":
    import uvicorn
    uvicorn.run(app, host="0.0.0.0", port=8001)

启动 Embedding 服务：

pip install fastapi uvicorn sentence-transformers
python embed_server.py

6.2 启动选项速查表

服务	地址	端口
DeepSeek Chat	192.193.1.133	8000
Embedding Service	192.193.1.133	8001
Elasticsearch 集群	192.193.1.132	9200

七、性能调优与量化方案

7.1 核心性能优化策略

优化项	方法	预期效果
动态批处理	max_batch_size 32	多请求合并单次推理
PagedAttention	vLLM 默认开启	动态分配内存，减少冗余
FP8 混合精度	--kv-cache-dtype fp8	显存占用降低 50%
分块流式处理	--max-num-batched-tokens 调优	减少上下文切换开销
请求队列	应用层实现	保护服务在高并发下稳定

7.2 显存优化方案（按紧缺程度分级）

• Level 1（通用）- AWQ 4-bit 量化：显存占用下降 70% 以上，精度损失 <1%。
• Level 2（中强度）- bitsandbytes NF4 量化：显存占用下降 72%，精度损失 <0.8%。
• Level 3（极限）- GPTQ INT4 量化：显存占用下降 75% 以上，精度损失约 5%。

量化后配置：4-bit 量化后 V4-Flash 可放入 1 张 H100 80GB，适合预算有限的场景。量化命令参考：

# 使用 AutoAWQ 进行量化
python -m awq.entrypoint --model_path /path/to/model --quant_path /path/to/output --w_bit 4

7.3 备选方案：SGLang 部署（显存紧张场景）

显存不满足 vLLM 单卡需求时，可选用轻量化 SGLang 框架替代，显存占用比 vLLM 低约 15-20%，适合部署在单卡 24GB 设备上。

# 使用 SGLang 启动服务
python -m sglang.launch_server \
  --model-path /path/to/DeepSeek-V4-Flash \
  --tp 2 \
  --host 0.0.0.0 \
  --port 30000

7.4 生产级优化：TensorRT-LLM（选读）

如需进一步压榨 GPU 算力，可将模型从 PyTorch 转为 ONNX 再转 TensorRT 引擎：

from transformers import AutoModelForCausalLM
import torch

model = AutoModelForCausalLM.from_pretrained("deepseek/v3.1")
dummy_input = torch.randn(1, 32, 768)
torch.onnx.export(model, dummy_input, "deepseek_v3.1.onnx",
                  input_names=["input_ids"], output_names=["logits"],
                  dynamic_axes={"input_ids": {0: "batch_size"}, "logits": {0: "batch_size"}})

八、监控告警体系

使用 Prometheus + Grafana + DCGM Exporter 构建完整的 GPU 监控体系。

8.1 部署 DCGM Exporter

# 启动 DCGM Exporter 容器
docker run -d \
  --name dcgm-exporter \
  --gpus all \
  --network host \
  -v /run/nvidia-persistenced/socket:/var/run/nvidia-persistenced/socket \
  nvidia/dcgm-exporter:latest

8.2 Prometheus 配置

scrape_configs:
  - job_name: 'gpu-metrics'
    static_configs:
      - targets: ['localhost:9400']
    metrics_path: '/metrics'

8.3 核心告警规则

- alert: HighGPUUtilization
  expr: nvidia_smi_utilization_gpu_percent > 90
  for: 5m
  annotations:
    summary: "GPU利用率过高，实例: {{ $labels.instance }}，当前值: {{ $value }}%"

- alert: LowGPUUtilization
  expr: nvidia_smi_utilization_gpu_percent < 30
  for: 10m
  annotations:
    summary: "GPU利用率持续低于30%，可能存在资源闲置"

- alert: HighGPUTemperature
  expr: nvidia_smi_temperature_gpu > 85
  for: 1m
  annotations:
    summary: "GPU温度过高: {{ $value }}°C"

- alert: HighMemoryUsage
  expr: (nvidia_smi_memory_used_bytes / nvidia_smi_memory_total_bytes) > 0.95
  annotations:
    summary: "GPU显存使用率超过95%"

九、测试与验证

测试项	验证命令	预期结果
GPU 可用性	nvidia-smi	显示所有 GPU 卡
模型加载	curl localhost:8000/health	HTTP 200 OK
单轮对话	调用 /v1/chat/completions	正常返回回答
并发压测	wrk -t12 -c400 -d30s	QPS ≥50，延迟 P99 ≤3s
Embedding 服务	POST /v1/embeddings	返回 768 维向量

验证 Embedding 服务：

curl -X POST http://192.193.1.133:8001/v1/embeddings \
  -H "Content-Type: application/json" \
  -d '{"input": "Java并发编程的核心概念"}'