1. 项目背景与问题定位

在恒源云GPU服务器上部署ollama时，很多用户遇到了一个典型问题：明明已经正确安装了CUDA驱动和GPU相关组件，但启动ollama服务后，系统日志中始终找不到GPU型号的识别信息。这种情况在RTX 4090等高端显卡上尤为常见，本质上是因为ollama的默认配置没有正确绑定到NVIDIA运行时环境。

我最近在帮客户部署一套基于恒源云HGX A100服务器的ollama集群时，就遇到了完全相同的状况。通过nvidia-smi命令能正常看到显卡信息，但ollama服务日志里只有CPU相关的加载记录。这种"隐形GPU"问题会导致计算任务无法分流到显卡，所有负载都压在CPU上，性能直接下降90%以上。

2. 环境准备与依赖检查

2.1 基础环境确认

首先通过以下命令验证基础GPU环境：

nvidia-smi  # 应显示显卡型号和驱动版本
nvcc --version  # 检查CUDA工具链
ldconfig -p | grep cuda  # 验证动态库路径

恒源云的标准镜像通常预装了NVIDIA驱动，但需要注意：

• 驱动版本需≥515.65.01（对应CUDA 11.7+）
• 如果使用自定义镜像，务必确认内核头文件已安装：

  sudo apt install linux-headers-$(uname -r)
  

2.2 ollama离线安装包处理

由于恒源云服务器通常处于内网环境，需要提前下载：

1. 官方ollama Linux二进制包（建议≥0.1.15版本）
2. 对应模型的GGUF权重文件
3. NVIDIA CUDA兼容性包（包含libcuda.so等）

通过SFTP上传到服务器后，建议存放在/opt/ollama目录，并设置权限：

sudo chmod +x /opt/ollama/ollama
sudo ldconfig

3. GPU绑定配置实战

3.1 环境变量关键配置

在/etc/environment追加以下变量（以RTX 4090为例）：

OLLAMA_GPU_LAYER=cuda
OLLAMA_CUDA_DEVICE=0  # 多卡时指定设备ID
CUDA_VISIBLE_DEVICES=0
LD_LIBRARY_PATH=/usr/local/cuda/lib64:/usr/lib/x86_64-linux-gnu:$LD_LIBRARY_PATH

然后执行：

source /etc/environment
sudo systemctl daemon-reload

3.2 systemd服务文件修改

创建/etc/systemd/system/ollama.service，重点修改ExecStart行：

[Service]
Environment="PATH=/usr/local/cuda/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin"
Environment="LD_LIBRARY_PATH=/usr/local/cuda/lib64:/usr/lib/nvidia:/usr/lib/x86_64-linux-gnu"
ExecStart=/opt/ollama/ollama serve --gpu=cuda

3.3 显卡计算能力注册

在~/.ollama/config.json中添加：

{
  "gpu": {
    "type": "cuda",
    "device": 0,
    "compute_capability": 8.9  # RTX 4090的计算能力值
  }
}

4. 验证与问题排查

4.1 启动验证命令

使用以下组合命令检查GPU绑定状态：

sudo systemctl restart ollama
journalctl -u ollama -f | grep -E 'CUDA|GPU|cuda'

正常应该看到类似输出：

2024-03-15T09:00:00Z CUDA devices detected: [NVIDIA RTX 4090, compute=8.9]
2024-03-15T09:00:01Z GPU acceleration enabled on device 0

4.2 常见问题解决

问题1：报错 failed to initialize CUDA

• 解决方案：

  sudo rmmod nvidia_uvm
  sudo modprobe nvidia_uvm
  sudo nvidia-persistenced --persistence-mode
  

问题2：日志显示 falling back to CPU

• 检查项：
  1. 确认CUDA与驱动版本匹配（nvidia-smi与nvcc --version）
  2. 验证LD_LIBRARY_PATH包含/usr/lib/nvidia
  3. 检查selinux/apparmor是否阻止设备访问

问题3：多卡环境设备号混乱

• 修正方法：

  sudo nvidia-smi -pm 1  # 启用持久模式
  sudo nvidia-smi -i 0 -c EXCLUSIVE_PROCESS  # 独占模式
  

5. 性能优化技巧

5.1 内核参数调整

在/etc/sysctl.conf中添加：

vm.overcommit_memory=1
vm.swappiness=10

5.2 GPU专属参数

对于RTX 4090建议设置：

sudo nvidia-smi -i 0 -ac 7001,1950  # 锁频
sudo nvidia-smi -i 0 -pl 350  # 功耗墙设置

5.3 ollama运行优化

启动参数建议：

/opt/ollama/ollama serve \
  --gpu=cuda \
  --numa=local \
  --context=4096 \
  --batch=512

6. 深度监控方案

安装prometheus-nvidia-exporter实现监控：

docker run -d \
  --name=nvidia_exporter \
  --restart=always \
  --gpus=all \
  -p 9101:9101 \
  nvidia/gpu-monitoring-tools:2.3.1

配置Grafana仪表板，重点关注：

• GPU-Util波动曲线
• FB Memory Usage
• PCIe带宽利用率
• 温度/功耗比

我在实际部署中发现，当GPU显存占用超过80%时，适当降低--batch参数可以避免OOM错误。对于4090这类大显存显卡，建议将ollama的上下文窗口开到4096以上才能充分发挥性能优势