华为云CentOS 7上Ollama GPU版保姆级部署指南（含Docker 23.0.6配置）

香菜滚出地球

444人浏览 · 2026-02-28 17:06:44

香菜滚出地球 · 2026-02-28 17:06:44 发布

华为云CentOS 7服务器上，手把手部署Ollama GPU版：从Docker配置到模型服务的实战全解

最近和几个做AI应用开发的朋友聊天，发现大家有个共同的痛点：想快速在云端搭建一个私有的、能调用GPU的AI模型服务环境，过程总是磕磕绊绊。要么是云服务器的环境配置复杂，各种依赖冲突；要么是Docker版本和GPU驱动兼容性出问题，一个简单的模型服务部署，折腾一两天是常事。如果你也遇到过类似情况，想在华为云的CentOS 7系统上，高效、稳定地跑起Ollama并利用GPU加速，那这篇文章就是为你准备的。

我将结合最近在华为云C7实例上的多次实战经验，抛开那些泛泛而谈的教程，直接切入云环境特殊性、版本精准匹配、网络配置细节这些最容易踩坑的地方。整个过程不仅仅是执行几条命令，更会解释清楚为什么要这么做，以及遇到常见错误时如何排查。无论你是中小企业的技术负责人，还是独立开发者，都能通过这份指南，在半小时内构建起一个生产可用的AI模型服务基础环境。

1. 环境准备与核心依赖解析

在华为云的CentOS 7实例上部署GPU应用，和本地物理机或其他云平台有些微妙的差异。首要任务不是盲目安装，而是理清环境依赖的链条。我们的目标是部署Ollama的Docker GPU版本，这意味着需要三条主线并进：合适的Docker版本、正确的NVIDIA容器工具链、以及华为云特定的GPU驱动支持。

很多人会直接使用yum install docker安装最新版Docker，但这在CentOS 7上往往埋下隐患。新版本Docker Engine可能对旧内核的支持不完善，尤其是与nvidia-container-toolkit集成时。经过多次测试，Docker 23.0.6这个版本在CentOS 7.9与NVIDIA驱动组合中表现出最佳的稳定性。它既包含了必要的容器运行时接口（CRI）支持，又能完美兼容后续要安装的NVIDIA容器运行时。

注意：华为云的部分GPU实例（如P系列vGPU实例）可能预装了特定的GRID驱动或CUDA工具包。部署前，建议先通过 nvidia-smi 命令确认驱动状态。如果未安装，需通过华为云提供的官方镜像或驱动安装指南先行配置。

除了Docker，另一个核心是NVIDIA Container Toolkit。它不是一个单一的软件包，而是一套让Docker容器能够访问宿主机GPU设备的核心工具集。其工作原理可以简单理解为在容器内部“映射”了宿主机的GPU设备文件和驱动库。以下是部署前必须检查的宿主机环境清单：

操作系统: CentOS 7.9 最小化安装（推荐），确保系统纯净。
内核版本: 通过 uname -r 查看，建议为 3.10.0-1160.el7.x86_64 或更高。
GPU驱动: 已安装且版本 >= 470（支持CUDA 11.4以上），使用 nvidia-smi 验证。
开发工具: GCC、make等基础编译环境，用于后续可能需要的源码编译。

# 验证系统基础信息
cat /etc/redhat-release
uname -r

# 验证NVIDIA驱动状态
nvidia-smi

如果 nvidia-smi 命令返回类似下方的表格，说明驱动安装正常，可以进入下一步。

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 470.161.03   Driver Version: 470.161.03   CUDA Version: 11.4     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  Tesla T4            On   | 00000000:00:07.0 Off |                    0 |
| N/A   35C    P8    10W /  70W |      0MiB / 15109MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+

2. 精准安装与配置Docker 23.0.6

在CentOS 7上，我强烈建议绕过系统默认的Docker仓库，采用指定版本安装的方式。这里会分步详解，并解释每个配置项的作用。

首先，清理可能存在的旧版本Docker，避免冲突：

sudo yum remove -y docker \
                  docker-client \
                  docker-client-latest \
                  docker-common \
                  docker-latest \
                  docker-latest-logrotate \
                  docker-logrotate \
                  docker-engine

接下来，设置Docker的官方Yum仓库。虽然我们要安装指定版本，但使用官方仓库能确保依赖关系的完整性。

# 安装yum工具包，用于管理仓库
sudo yum install -y yum-utils

# 添加Docker官方仓库（使用阿里云镜像加速下载）
sudo yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

现在，列出仓库中可用的Docker CE版本，并精准安装23.0.6：

# 查看所有可用版本
yum list docker-ce --showduplicates | sort -r

# 安装指定版本及其命令行工具
sudo yum install -y docker-ce-23.0.6-1.el7 docker-ce-cli-23.0.6-1.el7 containerd.io

安装完成后，启动Docker服务并设置开机自启：

sudo systemctl start docker
sudo systemctl enable docker

此时，运行 docker version 应该能看到Client和Server版本均为23.0.6。但为了让Docker能更好地在云环境工作，尤其是后续与GPU容器工具集成，我们需要调整其守护进程配置。创建或修改 /etc/docker/daemon.json 文件：

{
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m"
  },
  "storage-driver": "overlay2",
  "registry-mirrors": ["https://your-mirror.mirror.aliyuncs.com"]
}

这里有几个关键点：

native.cgroupdriver=systemd: 与CentOS 7的systemd初始化系统保持一致，避免资源管理冲突。
storage-driver: CentOS 7的内核通常支持 overlay2，这是目前性能较好的存储驱动。
registry-mirrors: 强烈建议配置国内镜像加速器，如阿里云、腾讯云镜像，否则拉取镜像速度极慢。你需要将其中的 your-mirror 替换为实际获得的加速器地址。

应用配置并重启Docker：

sudo systemctl daemon-reload
sudo systemctl restart docker

3. 集成NVIDIA容器运行时与GPU支持

这是让Docker容器能够使用GPU的关键一步。NVIDIA Container Toolkit 提供了 nvidia-container-runtime，它会“劫持”Docker默认的容器运行时，在容器启动时自动注入必要的GPU驱动库和设备文件。

首先，配置NVIDIA的容器工具库源。这里使用NVIDIA官方提供的稳定版仓库：

distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo | \
    sudo tee /etc/yum.repos.d/nvidia-container-toolkit.repo

接着，安装工具包并重新配置Docker：

sudo yum install -y nvidia-container-toolkit

# 此命令会修改Docker的daemon.json，添加nvidia作为默认运行时之一
sudo nvidia-ctk runtime configure --runtime=docker --set-as-default

# 重启Docker使配置生效
sudo systemctl restart docker

为了验证GPU容器支持是否配置成功，可以运行一个简单的测试容器：

sudo docker run --rm --gpus all nvidia/cuda:11.8.0-base-ubuntu22.04 nvidia-smi

如果这个命令能成功运行，并输出与宿主机上 nvidia-smi 类似的信息表格，那么恭喜你，Docker的GPU环境已经就绪。这个测试容器直接调用了NVIDIA的CUDA基础镜像，并执行了GPU状态查询命令，是检验环境最直接的方法。

4. 部署Ollama GPU容器与服务

环境准备妥当后，部署Ollama本身反而相对简单。但这里有几个针对云服务器和生产可用性的细节需要特别注意，尤其是网络绑定和持久化存储。

Ollama官方提供了集成的Docker镜像 ollama/ollama，它包含了模型运行所需的所有组件。我们使用Docker命令直接拉取并运行。请注意命令中的几个关键参数：

# 创建一个持久化数据卷，用于保存下载的模型文件，避免容器删除后模型丢失
docker volume create ollama-data

# 运行Ollama容器
docker run -d \
  --gpus=all \
  -v ollama-data:/root/.ollama \
  -p 11434:11434 \
  --name ollama \
  --restart unless-stopped \
  ollama/ollama

对参数的解释：

--gpus=all: 将宿主机的所有GPU设备暴露给容器。
-v ollama-data:/root/.ollama: 将名为 ollama-data 的数据卷挂载到容器内Ollama的默认工作目录。这是模型持久化的关键，所有下载的模型都会保存在这个卷里。
-p 11434:11434: 将容器的11434端口（Ollama API端口）映射到宿主机的同一端口。
--restart unless-stopped: 设置容器重启策略，除非手动停止，否则Docker守护进程重启后容器会自动启动，增强了服务的可靠性。

容器启动后，我们需要进入容器内部，拉取一个模型进行测试。考虑到云服务器初次部署的效率和网络，建议先拉取一个小尺寸模型，如 qwen:0.5b：

# 进入容器执行命令
docker exec -it ollama ollama pull qwen:0.5b

# 拉取完成后，可以运行一个简单的交互测试
docker exec -it ollama ollama run qwen:0.5b

在交互界面输入“你好”等简单提示词，模型若能回复，则说明核心服务部署成功。按 Ctrl+D 可退出交互。

提示：如果你计划部署更大的模型（如Llama2 7B、Qwen 7B等），请务必确保云服务器实例的磁盘空间（特别是挂载数据卷的磁盘）足够。一个7B参数的模型文件通常需要4-8GB的存储空间。

5. 配置WebUI与管理界面

对于团队使用或希望有更友好交互方式的场景，为Ollama配置一个Web管理界面非常必要。open-webui（原Ollama WebUI）是一个优秀的选择。它需要连接到我们刚刚部署的Ollama API服务。

部署Open WebUI时，最关键的一点是正确配置Ollama的基础URL。在云服务器环境中，容器间的网络通信需要特别注意。如果Ollama容器和WebUI容器运行在同一个宿主机上，最简单的方式是使用宿主机的内网IP地址进行连接，这比使用 localhost 或 127.0.0.1 在Docker网络环境下更可靠。

首先，获取你华为云服务器的内网IP地址（通常在控制台实例详情中可以找到，或使用 hostname -I 命令查看）。假设内网IP是 192.168.1.100。

# 运行Open WebUI容器
docker run -d \
  -p 3000:8080 \
  -e OLLAMA_BASE_URL=http://192.168.1.100:11434 \
  -v open-webui-data:/app/backend/data \
  --name open-webui \
  --restart unless-stopped \
  ghcr.io/open-webui/open-webui:main

参数说明：

-e OLLAMA_BASE_URL=...: 这是环境变量，告诉WebUI后端Ollama服务在哪里。务必将其中的IP替换为你服务器的实际内网IP。
-v open-webui-data:/app/backend/data: 持久化WebUI的数据，如对话历史、用户设置等。
-p 3000:8080: 将容器的8080端口映射到宿主机的3000端口。

容器启动需要一点时间（约1-2分钟）来初始化数据库和前端资源。你可以通过查看日志来监控进度：

docker logs -f open-webui

当看到日志中出现类似 “Uvicorn running on http://0.0.0.0:8080” 的信息时，说明服务已经就绪。

6. 安全组、访问与基础运维

服务部署完成后，从外部还无法访问。你需要登录华为云控制台，找到你实例所属的安全组，添加入站规则，放通 3000端口（WebUI）和 11434端口（Ollama API，如需从外部调用）。规则源可以设置为特定的IP地址段（如公司办公网IP）以增强安全性，或者临时设置为 0.0.0.0/0（允许任何IP访问）进行测试。

配置完成后，你就可以通过浏览器访问 http://<你的服务器公网IP>:3000 来打开Open WebUI界面。首次访问需要注册一个管理员账户。

在WebUI中，你可以方便地：

从模型库中拉取新的模型（实际上是通过UI调用后端Ollama容器的pull命令）。
与不同的模型进行对话聊天。
管理对话历史记录。

对于运维，掌握几个基本的Docker命令很有帮助：

# 查看所有容器状态
docker ps -a

# 查看Ollama容器的实时日志
docker logs -f ollama

# 监控容器资源使用情况（CPU、内存、GPU）
docker stats

# 进入Ollama容器内部（用于执行更复杂的调试命令）
docker exec -it ollama bash

如果遇到模型下载缓慢的问题，可以尝试在Ollama容器内部设置HTTP代理，或者将常用的模型文件预先下载到数据卷对应的宿主机目录（/var/lib/docker/volumes/ollama-data/_data），再通过软链接等方式供容器使用。

整个部署流程走下来，你会发现核心难点不在于Ollama本身，而在于云服务器上Docker与GPU环境的磨合。一旦这个基础被打通，后续无论是切换模型、升级版本，还是横向扩展服务，都会变得非常顺畅。我在华为云多个不同规格的GPU实例上重复过这个流程，只要严格按照版本和配置来，基本都能一次成功。下次如果你需要部署其他GPU加速的AI应用容器，这套环境也同样是坚实的基础。