前言

学习使用openclaw，先学会部署ollama。

一、环境信息

操作系统：22.04.5 LTS
ollama： 0.17.5
GPU：Tesla V100-SXM2-32GB
nvidia 驱动版本：nvidia-driver-580

二、部署步骤

1.部署英伟达驱动

# 查看驱动列表
sudo ubuntu-drivers devices
# 选择合适的驱动安装上
apt install nvidia-driver-580 -y

sudo apt update 
# 重启服务器
sudo reboot 
# 执行命令查看加速卡信息
sudo nvidia-smi 

2.docker形式部署ollama

2.1 安装docker

docker --version || (apt update && apt install -y docker.io)
apt install curl -y

2.2 安装NVIDIA Container Toolkit（关键！

curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | apt-key add -

distribution=$(. /etc/os-release;echo $ID$VERSION_ID)

curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | tee /etc/apt/sources.list.d/nvidia-docker.list

apt update && apt install -y nvidia-container-toolkit

systemctl restart docker

2.3 安装docker

# 获取国内源的ollama镜像
docker pull docker.1ms.run/ollama/ollama:latest
# 运行
docker run -d \
  --gpus all \
  -v ollama:/root/.ollama \
  -p 11434:11434 \
  --name ollama-gpu \
  --restart unless-stopped \
  docker.1ms.run/ollama/ollama:latest

2.4 ollama下载个小模型测试一下

# 下载千问模型
docker exec ollama-gpu ollama pull qwen3.5:0.8b
# 下载完毕之后请求一下试试
curl http://localhost:11434/api/generate -d '{
  "model": "qwen3.5:0.8b",
  "prompt": "用一句话介绍 V100 GPU",
  "stream": false
}'

总结

比service形式部署的方便很多，还不需要考虑配置GPU的问题。