1. 为什么选择Docker + vLLM来部署DeepSeek-R1？

如果你和我一样，对最近火热的DeepSeek-R1推理能力心痒痒，想自己搭一个来玩玩，或者给团队做个内部AI助手，那你肯定遇到过一堆头疼事儿。模型文件动辄几十个G，下载慢不说，环境依赖更是“地狱级”难度，PyTorch版本、CUDA版本、各种Python包，随便一个对不上，就能让你折腾一整天。更别提在服务器上部署了，那真是“牵一发而动全身”，搞不好就把系统环境弄乱了。

我踩过这些坑之后，发现Docker和vLLM简直是绝配，是解决大模型部署“水土不服”问题的终极方案。我来给你打个比方：Docker就像一个标准化、可移动的集装箱。你把模型、代码、环境所有东西都打包进这个集装箱里，这个集装箱在任何支持Docker的“码头”（服务器、你的电脑、云主机）上都能原封不动地跑起来，完全不用担心“在我机器上好好的，怎么到你那儿就不行了”这种破事儿。

而vLLM，你可以把它理解为一个为这个大模型集装箱量身定做的超级高效的“起重机”和“分拣系统”。传统方式运行大模型，就像用一个小铲车搬大箱子，慢且浪费力气。vLLM的核心技术叫 PagedAttention，它聪明地管理着GPU里那宝贵的内存，让多个用户的请求可以像流水线上的包裹一样被高效处理，极大地提升了推理速度和吞吐量。实测下来，同样的硬件，用vLLM服务的响应速度能快上好几倍，同时服务更多用户。

所以，Docker负责“搬得动、跑得稳”，vLLM负责“跑得快、接得多”。两者结合，就能让你在个人电脑、公司服务器或者云主机上，用一套几乎不变的命令，快速搭建起一个高性能、生产可用的DeepSeek-R1 API服务。接下来，我就手把手带你走一遍这个流程，从零开始，直到你能用网页聊天界面和你的模型对话。

2. 部署前的准备工作：环境与资源盘点

在开始动手之前，咱们得先把“柴米油盐”准备好。这一步做扎实了，后面才能顺风顺水。

2.1 硬件与系统要求

首先看硬件，这是决定体验的基石。DeepSeek-R1有不同的尺寸，比如7B（70亿参数）、14B等。参数越大，能力通常越强，但对硬件要求也越高。

  • GPU（核心）：必须有NVIDIA GPU，这是跑大模型的刚需。对于DeepSeek-R1-7B模型，我实测一块显存不小于16GB的消费级显卡（如RTX 4080/4090）或专业卡（如V100 16G, A10）就能比较流畅地运行。如果你想尝试更大的14B模型，或者希望同时处理更多请求，那么显存最好在24GB或以上。你可以用 nvidia-smi 命令查看你的显卡型号和显存。
  • CPU与内存：CPU不是瓶颈，但建议至少4核以上。系统内存（RAM） 建议不小于32GB，因为除了GPU显存，模型加载和数据处理也会占用不少内存。
  • 磁盘空间：模型文件很大。以7B的量化版本为例，下载下来大概需要15-20GB的硬盘空间。所以，请确保你的工作目录有充足的剩余空间，建议预留50GB以上比较稳妥。
  • 操作系统：推荐 Ubuntu 20.04/22.04 LTS 或 CentOS 7/8。Windows用户可以通过WSL2（Windows Subsystem for Linux）来获得接近原生Linux的体验，这也是完全可行的。我下面的操作都以Ubuntu为例。

2.2 核心软件安装

我们的两大基石：Docker和NVIDIA容器工具包。

  1. 安装Docker：如果系统里没有，用以下命令安装（以Ubuntu为例）：

    sudo apt-get update
sudo apt-get install -y docker.io
sudo systemctl start docker
sudo systemctl enable docker

    安装完成后，运行 docker --version 检查是否成功。为了避免每次命令都加 sudo，可以把当前用户加入docker组：sudo usermod -aG docker $USER，然后退出终端重新登录生效。

  2. 安装NVIDIA Container Toolkit：这是让Docker容器能使用宿主GPU的关键桥梁。安装步骤稍微多点，但跟着做没问题：

    # 添加NVIDIA的软件包仓库
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list

sudo apt-get update
# 安装工具包
sudo apt-get install -y nvidia-container-toolkit
# 重启Docker服务
sudo systemctl restart docker

    验证安装：运行 docker run --rm --gpus all nvidia/cuda:12.1.1-base-ubuntu22.04 nvidia-smi。如果这个命令能成功输出和你宿主机一样的GPU信息列表，恭喜你，环境通了！

2.3 规划项目目录

在服务器或本地电脑上，我习惯创建一个清晰的项目目录，把所有东西都放里面，方便管理。打开终端，执行：

mkdir -p ~/deepseek-deployment/{models, data}
cd ~/deepseek-deployment

这里，models 目录用来存放我们下载的DeepSeek-R1模型文件，data 目录可以留给后面WebUI的数据持久化。现在，我们的“舞台”就搭好了。

3. 获取DeepSeek-R1模型文件

模型文件是主角。我们可以通过 ModelScope（魔搭社区）来下载，这是国内一个非常棒的模型平台，速度通常比从Hugging Face拉要快很多。

3.1 使用ModelScope CLI下载（推荐）

首先，我们其实不需要在宿主机安装完整的Python环境，我们可以利用一个临时的Docker容器来完成下载，这样最干净。执行下面的长命令：

docker run -it --rm \
  -v ~/deepseek-deployment/models:/models \
  registry.cn-hangzhou.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-py3.10.11 \
  bash -c "
  pip install modelscope -i https://mirror.sjtu.edu.cn/pypi/web/simple &&
  modelscope download --model deepseek-ai/DeepSeek-R1-Distill-Qwen-7B --local_dir /models/deepseek-7b --revision master
  "

我来拆解一下这个命令：

  • -v ~/deepseek-deployment/models:/models：把宿主机刚创建的models目录，挂载到容器内的/models路径。这样下载的文件就直接存到你电脑上了。
  • registry.cn-hangzhou...：这是ModelScope官方提供的包含基础环境的Docker镜像。
  • bash -c “...”：在容器内依次执行两条命令：1) 用国内源安装modelscope库；2) 下载指定的DeepSeek-R1-7B模型到容器内的/models/deepseek-7b目录（由于挂载，实际在宿主机）。

这个过程需要一些时间，取决于你的网速，模型大约15-20GB。你可以去喝杯咖啡。下载完成后，检查一下 ~/deepseek-deployment/models/deepseek-7b 目录，里面应该有很多.bin或.safetensors模型权重文件和配置文件。

3.2 模型文件验证与准备

下载完成后，最好确认一下关键文件是否齐全。你需要确保目录下至少有：

  • config.json：模型配置文件。
  • model.safetensors 或 pytorch_model.bin：模型权重文件。
  • tokenizer.json 或 tokenizer.model：分词器文件。
  • special_tokens_map.json：特殊令牌映射。

有了这些文件，我们的模型“资产”就到位了。

4. 使用vLLM启动高性能推理API服务

现在进入核心环节：启动vLLM服务。我们将使用vLLM官方提供的、已经配置好所有复杂依赖的Docker镜像，这比你自己从头编译安装要简单一万倍。

4.1 启动vLLM容器并进入交互模式

我们不直接启动服务，而是先进入容器内部看看，这样更灵活。运行以下命令：

docker run -it --gpus all --shm-size 10g \
  -v ~/deepseek-deployment/models:/models \
  -p 8000:8000 \
  --ipc=host \
  --name vllm_deepseek \
  --entrypoint /bin/bash \
  vllm/vllm-openai:latest

参数详解（这些很重要）：

  • -it：交互模式，让你进入容器的终端。
  • --gpus all：将宿主机的所有GPU都分配给这个容器。如果你只想用特定GPU（比如服务器上第0、1号卡），可以改成 --gpus '"device=0,1"'。
  • --shm-size 10g：设置容器的共享内存大小。大模型推理需要较大的共享内存，10GB是一个比较安全的起步值，如果后续运行复杂任务出问题，可以尝试增大到16g或32g。
  • -v ...:/models：和之前一样，把存放模型的目录挂载进来，这样容器就能读到模型了。
  • -p 8000:8000：端口映射。将容器内部的8000端口（vLLM服务默认端口）映射到宿主机的8000端口。这样你就能通过 http://你的服务器IP:8000 访问API了。
  • --ipc=host：使用宿主机的IPC（进程间通信）命名空间。这通常能提升GPU内存共享的效率，对多进程应用更友好，是vLLM推荐的做法。
  • --name vllm_deepseek：给容器起个名字，方便管理。
  • --entrypoint /bin/bash：覆盖镜像默认的启动命令，让我们直接进入bash shell。
  • vllm/vllm-openai:latest：使用的镜像。我们直接用最新的latest标签，它包含了vLLM和OpenAI兼容API的所有环境。

命令执行后，你会发现终端提示符变了，说明你已经进入了容器内部。

4.2 在容器内启动API服务

现在，我们在容器内部的命令行下，启动vLLM服务。输入以下命令：

python3 -m vllm.entrypoints.openai.api_server \
  --model /models/deepseek-7b \
  --port 8000 \
  --tensor-parallel-size 1 \
  --served-model-name DeepSeek-R1-7B \
  --gpu-memory-utilization 0.9 \
  --max-model-len 8192 \
  --trust-remote-code

关键参数调优指南：

  • --model /models/deepseek-7b：指定模型路径，就是我们挂载进来的目录。
  • --tensor-parallel-size 1：张量并行数，默认是1。如果你有多张GPU（比如2张24G的卡想跑一个70B模型），可以将其设置为GPU的数量（如2），vLLM会自动将模型拆分到多卡上。 对于我们单卡跑7B模型，保持1即可。
  • --served-model-name DeepSeek-R1-7B：给你的服务起的模型名字，之后调用API时会用到。
  • --gpu-memory-utilization 0.9：GPU内存利用率，这是一个非常重要的调优参数！ 默认0.9，即使用90%的可用显存。如果你的显存非常紧张，可以调低（如0.8）以避免OOM（内存溢出）。如果显存充足，可以保持0.9以获得更好的性能。
  • --max-model-len 8192：模型支持的最大上下文长度（tokens数）。DeepSeek-R1通常支持128K，但实际长度受显存限制。这里设为8192是一个保守且安全的起点。如果你的显存足够大（比如40G+），可以尝试增加到16384或32768，但需要相应降低gpu-memory-utilization。
  • --trust-remote-code：因为DeepSeek模型可能使用了自定义的模型代码，这个参数允许加载这些代码。

执行命令后，你会看到大量日志输出。当看到类似 "Uvicorn running on http://0.0.0.0:8000" 的信息时，说明服务已经成功启动，正在监听8000端口。现在不要关闭这个终端窗口，让它保持运行。

4.3 测试API服务是否正常

打开一个新的终端窗口（宿主机上），我们来测试一下API。使用最经典的curl命令：

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "DeepSeek-R1-7B",
    "messages": [
      {
        "role": "user",
        "content": "用简单的语言介绍一下你自己"
      }
    ],
    "temperature": 0.7,
    "max_tokens": 500
  }'

如果一切正常，你会收到一个JSON格式的响应，在 choices[0].message.content 字段里就是DeepSeek-R1生成的回答。看到它流畅地自我介绍，就说明你的vLLM API服务已经完美运行了！这个服务提供了与OpenAI API完全兼容的接口，这意味着任何能调用OpenAI的代码、工具或应用，稍作修改（主要是改一下API地址和密钥）就能直接对接你的私有模型。

5. 集成Open WebUI打造可视化聊天界面

只有API对大多数用户来说还不够友好。我们需要一个像ChatGPT那样开箱即用的网页界面。Open WebUI（原名Ollama WebUI）是一个功能强大、界面美观的开源项目，它可以直接对接OpenAI兼容的API，完美适配我们刚搭建的vLLM服务。

5.1 启动Open WebUI容器

再打开一个终端窗口，运行以下命令来启动Open WebUI：

docker run -d --restart unless-stopped \
  -p 8080:8080 \
  -v ~/deepseek-deployment/data:/app/backend/data \
  --add-host=host.docker.internal:host-gateway \
  -e OLLAMA_API_BASE_URL=http://host.docker.internal:11434/api \
  -e OPENAI_API_BASE=http://你的宿主机内网IP:8000/v1 \
  -e OPENAI_API_KEY=sk-no-key-required \
  --name open-webui \
  ghcr.io/open-webui/open-webui:main

参数解析与配置：

  • -d：后台运行容器。
  • --restart unless-stopped：容器意外退出时自动重启，增强稳定性。
  • -p 8080:8080：将容器的8080端口映射到宿主机的8080端口。之后通过 http://你的服务器IP:8080 访问WebUI。
  • -v ~/deepseek-deployment/data:/app/backend/data：挂载数据卷，这样你的聊天记录、设置等信息都会持久化保存在宿主机上，不会因为容器重启而丢失。
  • --add-host=host.docker.internal:host-gateway：这是一个关键设置！它在容器内部添加了一个主机名host.docker.internal，并指向宿主机的网关。这样，容器内的WebUI就能通过这个地址访问到宿主机上运行的其他服务（比如我们的vLLM API）。
  • 环境变量配置（核心）：
    • -e OPENAI_API_BASE=http://你的宿主机内网IP:8000/v1：这是最重要的配置！ 将 你的宿主机内网IP 替换为你服务器实际的IP地址（如192.168.1.100）。这告诉Open WebUI去哪里找你的vLLM API。注意：这里不能使用localhost或127.0.0.1，因为从容器内看，localhost是它自己。
    • -e OPENAI_API_KEY=sk-no-key-required：因为我们的vLLM服务默认没有启用API密钥验证，所以这里可以随便填一个值（但必须要有）。如果你在生产环境使用，强烈建议在vLLM启动命令中通过 --api-key 参数设置密钥，并在这里填写正确的密钥。
    • OLLAMA_API_BASE_URL：这个环境变量是用于连接Ollama的，我们用不上，但留着也无妨。

5.2 配置与使用Open WebUI

容器启动后，稍等片刻，在浏览器中访问 http://你的服务器IP:8080。第一次访问会要求你创建一个管理员账户。注册并登录后，进入主界面。

  1. 添加模型：点击界面左下角的设置图标（齿轮），找到 “模型” 设置页。
  2. 连接API：在模型设置里，Open WebUI通常会自动读取我们通过环境变量设置的 OPENAI_API_BASE。为了保险起见，你可以检查一下。你应该能看到一个可用的模型连接，模型名称就是我们之前设置的 DeepSeek-R1-7B。
  3. 开始聊天：回到聊天主界面，在输入框上方的模型选择下拉菜单里，选择 DeepSeek-R1-7B。现在，你就可以像使用ChatGPT一样，在美观的网页界面里和你的私有DeepSeek-R1模型对话了！你可以进行多轮对话，它支持上下文理解。

5.3 常见问题与调试

  • WebUI连接不上vLLM：这是最常见的问题。首先确保vLLM容器的日志没有报错，并且测试curl命令能通。然后，重点检查Open WebUI启动命令中的OPENAI_API_BASE环境变量，IP地址必须填写宿主机对Docker网络可见的IP（通常是内网IP）。可以在宿主机上用 ip addr 或 ifconfig 查看。
  • 模型加载慢或响应慢：首次加载模型需要时间。后续响应速度取决于你的GPU性能和设置的生成参数（如max_tokens）。如果感觉慢，可以回到vLLM启动命令，尝试适当降低 --max-model-len 或 --gpu-memory-utilization，看看是否因显存不足导致频繁交换。
  • 如何同时服务多个模型：vLLM支持同时加载多个模型。你可以在启动api_server时，通过 --model 参数指定多个路径，或者启动多个vLLM容器实例，每个监听不同的端口（如8001，8002），然后在Open WebUI中配置多个模型连接即可。

走到这一步，你已经拥有了一个完全自主可控、高性能、带漂亮Web界面的DeepSeek-R1大模型服务。无论是用于个人学习、项目演示，还是作为团队内部的知识问答助手，这套架构都提供了坚实的基础。整个过程虽然步骤不少，但利用Docker和vLLM这样的现代化工具，已经将部署复杂度降到了最低。

# vLLM
Logo
亚马逊云科技技术品牌专区

更多推荐

open-code-review Codex 插件教程：对话式调用评审技能指南

本文是一份面向新手的 **open-code-review Codex 插件教程**，教你在 Codex 中通过对话式方式调用 open-code-review 的 AI 代码评审技能。open-code-review 是阿里巴巴开源的 AI 代码评审工具，采用"确定性流水线 + LLM Agent"混合架构，内置多语言评审规则（NPE、线程安全、XSS、SQL 注入等），可在 Codex 里用一

avatar 亚马逊云科技技术品牌专区

OBS Studio 完整指南：免费开源录屏与直播软件从零上手

想做一场像模像样的直播，或者把屏幕内容录成教程视频，但一想到商用软件的订阅费就有些犹豫？其实你不需要花一分钱。OBS Studio 是一款免费开源的直播与录屏软件，支持 Windows、macOS 和 Linux，采集、混音、编码、推流、录制，一条流水线全包了。## 先搞清楚 OBS Studio 是什么OBS Studio 是一个"场景化"的采集合成工具：你把摄像头、窗口、浏览器、图片、

avatar 亚马逊云科技技术品牌专区

如何用MediaCrawler爬取小红书抖音数据？7大平台爬虫从安装到实战完整指南

MediaCrawler 是一个支持小红书、抖音、快手、B站、微博、百度贴吧、知乎的开源自媒体数据采集工具。它能按关键词、按帖子、按创作者主页三种方式抓取笔记/视频内容、评论甚至二级评论，并把结果存成 JSON、CSV、Excel 或数据库。适合做市场调研、竞品监控、内容选题的运营人员，以及想要现成爬虫框架而不想从零写 JS 逆向的开发者。## 从一次"手动抄数据"说起想象这个场景：你负责

avatar 亚马逊云科技技术品牌专区