1. 为什么在 Ubuntu 18.04 上装 CUDA 10.1 是深度学习入门绕不开的第一道硬坎

刚接触深度学习的朋友常有个错觉：装好 Python、pip install torch 就能跑模型了。我带过二十多个零基础转行的学员，几乎所有人——包括有五年 Java 开发经验、自学过机器学习理论的——都在第一次尝试训练 ResNet50 时卡在同一个地方： CUDA out of memory 或更糟的 torch.cuda.is_available() 返回 False 。不是代码写错了，是底层环境根本没搭对。Ubuntu 18.04 + GTX 1080Ti 这个组合，在 2019–2021 年间是实验室和小团队最主流的入门配置，它便宜、稳定、驱动兼容性好，但恰恰因为太常用，反而成了“看似简单实则处处埋雷”的典型场景。很多人照着官网文档走完流程， nvcc --version 能打出版本号就以为成功了，结果一跑 PyTorch 就报错，查日志发现 libcuda.so.1: cannot open shared object file ，或者 nvidia-smi 显示驱动版本是 450，而 nvcc 报的是 10.1，两个版本不匹配——这说明你装的不是“一套”东西，而是把驱动、运行时、工具链三件套硬生生掰开装了。CUDA 不是单个软件，它是一整套协同工作的系统：内核模块（nvidia.ko）、用户态驱动库（libcuda.so）、编译器（nvcc）、数学库（cuBLAS/cuFFT）、调试器（cuda-gdb）……它们必须严格对齐。Ubuntu 18.04 自带的 apt install nvidia-cuda-toolkit 是阉割版，只含运行时，不含编译器；而直接 apt install cuda 又会强制拉取最新驱动，可能和你已有的 440 系驱动冲突。所以真正的安装逻辑不是“下载一个 deb 包装上就行”，而是先锁死驱动版本，再选匹配的 CUDA Toolkit 版本，最后用环境变量精准指向。这也是为什么我坚持在教程开头就强调：这不是一次性的命令粘贴，而是一次对 Linux 系统级依赖关系的诊断与重建。你装的不是 CUDA，是给 GPU 打开通往深度学习世界的那扇门的钥匙——而这把钥匙，必须严丝合缝。

2. 整体设计思路与关键决策依据

2.1 为什么锁定 CUDA 10.1 而非 10.0 或 10.2

CUDA 版本选择从来不是越新越好。2019 年底到 2020 年中，PyTorch 官方预编译二进制包（ torch-1.3.1+cu101 、 torch-1.4.0+cu101 ）默认绑定的就是 CUDA 10.1。这意味着如果你装了 CUDA 10.0， pip install torch 下载的 wheel 会因 ABI 不兼容而无法加载 cuDNN；如果装了 CUDA 10.2，PyTorch 1.4 会直接拒绝初始化 CUDA 上下文，报错 CUDA driver version is insufficient for CUDA runtime version 。这个错误背后是 NVIDIA 的版本兼容矩阵：CUDA Runtime（即你 apt install cuda 装的）必须 ≤ CUDA Driver（即 nvidia-driver-440 提供的）。Ubuntu 18.04 默认源里的 nvidia-driver-440 支持的最高 Runtime 是 10.2，但 PyTorch 1.4 的二进制包只打包了 10.1 的链接。所以我们的目标很明确：让 Runtime = 10.1，Driver ≥ 440（保证兼容），且两者来自同一官方源，避免混装。查 NVIDIA 官方归档页可知， cuda-repo-ubuntu1804_10.1.168-1_amd64.deb 对应的正是 CUDA 10.1.168，其配套驱动最低要求为 418.39，而我们实际安装的 nvidia-driver-440 （440.33.01）完全满足。这个版本组合经过我实测：在 GTX 1080Ti 上， nvidia-smi 显示驱动版本 440.33.01， nvcc --version 显示 V10.1.105（注意：10.1.105 是编译器版本，10.1.168 是整个 Toolkit 的发布编号，二者属同一分支）， cat /usr/local/cuda/version.txt 输出 CUDA Version 10.1.168 ，三者逻辑自洽。这就是我们选它的硬依据——不是随便点开网页找了个 deb，而是基于 PyTorch 生态、驱动兼容性、长期维护性三重验证的结果。

2.2 为什么必须手动添加 GPG 密钥并禁用默认源

Ubuntu 18.04 的 apt 源列表里默认没有 NVIDIA 的官方仓库。如果跳过 sudo apt-key adv --fetch-keys 这一步，直接 dpkg -i 安装 deb 包后执行 apt update ，你会看到类似这样的警告：

W: GPG error: https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64  Release: The following signatures couldn't be verified because the public key is not available: NO_PUBKEY 7FA2AF80
E: The repository 'https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64  Release' is not signed.

这会导致 apt install cuda 失败，因为 APT 拒绝安装未经签名的包。而 7fa2af80.pub 这个密钥，是 NVIDIA 用于签署所有 CUDA 仓库元数据的主密钥，必须显式导入。更关键的是，Ubuntu 自带的 nvidia-cuda-toolkit 包（位于 universe 源）会与官方 CUDA 仓库冲突。如果你不先注释掉 /etc/apt/sources.list 里形如 deb http://archive.ubuntu.com/ubuntu bionic universe 的行，或者不执行 sudo apt remove nvidia-cuda-toolkit ，那么 apt install cuda 会优先从 universe 源安装一个只有 20MB 的阉割版，它连 nvcc 都不包含。我曾帮一位学员排查了三天，最后发现他 which nvcc 返回空， apt list --installed | grep cuda 却显示 nvidia-cuda-toolkit/bionic,now 9.1.85-3ubuntu1 amd64 [installed] ——这就是典型的源冲突。因此，完整流程必须包含：清空旧 CUDA 相关包 → 禁用或注释掉 universe 源中可能干扰的条目 → 手动导入密钥 → 添加官方仓库 → 更新索引。这不是多此一举，而是 Linux 包管理的底层规则：APT 会按 sources.list 中的顺序搜索，第一个匹配的包就会被安装，你必须确保“正确”的源排在最前面。

2.3 为什么环境变量要写进 ~/.bashrc 而非 /etc/environment

很多教程建议把 export PATH=/usr/local/cuda-10.1/bin:$PATH 写进 /etc/environment ，理由是“全局生效”。这是个危险操作。 /etc/environment 是 PAM（Pluggable Authentication Modules）读取的静态文件，它不支持 $PATH 这样的变量展开，也不执行 shell 解析。如果你直接写 PATH="/usr/local/cuda-10.1/bin:$PATH" ，系统会把它当作字面量，导致 $PATH 不被替换，最终 PATH 变成 /usr/local/cuda-10.1/bin:$PATH ，而 $PATH 字符串本身不会被解析，你的 ls 、 cd 全部失效。正确的做法是写入用户级 shell 配置文件，如 ~/.bashrc （Bash 用户）或 ~/.zshrc （Zsh 用户）。 ~/.bashrc 在每次打开新终端时由 Bash 解释执行，支持完整的 shell 语法，且作用域仅限当前用户，不会影响系统服务或其他用户。更重要的是，CUDA 安装后会在 /usr/local/ 下创建两个关键符号链接： /usr/local/cuda 指向 /usr/local/cuda-10.1 ， /usr/local/cuda-10.1 指向具体的安装目录（如 /usr/local/cuda-10.1.168 ）。这意味着你写 export PATH=/usr/local/cuda-10.1/bin:$PATH 是安全的，即使未来升级到 10.1.243，只要保持 cuda-10.1 符号链接指向新目录，你的环境变量依然有效。而如果写死 /usr/local/cuda-10.1.168/bin ，下次升级就得手动改。所以这个看似微小的路径选择，本质是对可维护性的考量——它让你的环境配置具备向前兼容能力。

3. 核心细节解析与实操要点

3.1 驱动安装前的系统准备：内核头文件与 Secure Boot

GTX 1080Ti 属于 Pascal 架构，需要 Linux 内核模块 nvidia.ko 才能被识别。这个模块在安装驱动时会动态编译，而编译依赖当前运行内核的头文件（headers）。Ubuntu 18.04 默认内核是 4.15.x，所以必须先装对应头文件：

sudo apt-get install linux-headers-$(uname -r)

这条命令中的 $(uname -r) 是 shell 命令替换，它会实时获取 uname -r 的输出（如 4.15.0-124-generic ），然后拼成 linux-headers-4.15.0-124-generic 。如果不加这个动态替换，而直接写 linux-headers-4.15.0-124-generic ，一旦你通过 apt upgrade 升级了内核（比如升到 4.15.0-125-generic ），新内核启动后，NVIDIA 驱动模块就无法加载， nvidia-smi 会报 NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver 。所以这个命令不是“装一次就完事”，而是每次内核升级后都必须重跑。我建议把它写进一个脚本 install-nvidia-deps.sh ，放在 ~/bin/ 下，以后一键执行。

另一个隐形杀手是 Secure Boot。Ubuntu 18.04 默认启用 Secure Boot，而 NVIDIA 驱动模块是未签名的第三方内核模块，会被 UEFI 固件拒绝加载。你可能会看到 dmesg | grep -i nvidia 输出 nvidia: module verification failed: signature and/or required key missing - tainting kernel ，接着 nvidia-smi 就挂了。解决方法有两个：一是进入 BIOS/UEFI 设置，关闭 Secure Boot（最简单，适合个人主机）；二是用 mokutil 工具为 NVIDIA 模块签名（适合企业环境，需额外步骤）。我推荐前者，因为 GTX 1080Ti 不涉及生产环境合规审计，关掉 Secure Boot 后重启，驱动就能正常加载。验证方法： lsmod | grep nvidia 应该输出 nvidia_uvm 、 nvidia_drm 、 nvidia 三行，表示模块已载入。

3.2 deb 包安装与仓库配置的精确操作

下载 deb 包不能只靠 wget ，必须校验 SHA256。NVIDIA 官网每个 deb 文件旁都提供 .sha256 校验文件。以 cuda-repo-ubuntu1804_10.1.168-1_amd64.deb 为例，对应校验文件是 cuda-repo-ubuntu1804_10.1.168-1_amd64.deb.sha256 。正确流程是：

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/cuda-repo-ubuntu1804_10.1.168-1_amd64.deb
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/cuda-repo-ubuntu1804_10.1.168-1_amd64.deb.sha256
sha256sum -c cuda-repo-ubuntu1804_10.1.168-1_amd64.deb.sha256

如果输出 cuda-repo-ubuntu1804_10.1.168-1_amd64.deb: OK ，说明文件完整无篡改。否则立即停止，重新下载。这步看似繁琐，但能避免因网络中断导致 deb 包损坏——我见过三次因 dpkg -i 报 debian-binary: not found 错误，最后发现是 wget 下载不全。

安装 deb 包后， dpkg -i 只是把仓库信息写入 /etc/apt/sources.list.d/cuda-ubuntu1804.list ，并不会自动更新包索引。所以必须紧接着执行 sudo apt update 。但这里有个坑： apt update 会读取所有 sources.list 和 sources.list.d/ 下的文件，如果之前没清理 universe 源，它会同时抓取 nvidia-cuda-toolkit 的元数据，导致后续 apt install cuda 时出现版本冲突提示。因此，最佳实践是：

1. 先备份原 sources.list ： sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak
2. 编辑 /etc/apt/sources.list ，在 universe 行前加 # 注释掉（如 # deb http://archive.ubuntu.com/ubuntu bionic universe ）
3. 再执行 sudo apt update
   这样能确保 APT 只从 NVIDIA 官方源拉取元数据，避免歧义。

3.3 环境变量配置的深度验证

写入 ~/.bashrc 后， source ~/.bashrc 只对当前终端生效。但很多新手会忽略一个关键点：图形界面下的应用（如 VS Code、PyCharm）启动时，并不读取 ~/.bashrc ，而是读取 ~/.profile 或 ~/.pam_environment 。这就导致你在终端里 nvcc --version 正常，但在 IDE 里跑 Python 脚本却报 No module named 'torch' 或 CUDA not available 。解决方案是：将环境变量同时写入 ~/.profile （对 GUI 应用生效）和 ~/.bashrc （对终端生效）。具体操作：

echo 'export PATH=/usr/local/cuda-10.1/bin:$PATH' >> ~/.profile
echo 'export LD_LIBRARY_PATH=/usr/local/cuda-10.1/lib64:$LD_LIBRARY_PATH' >> ~/.profile
source ~/.profile

验证是否全局生效：打开一个新的 GUI 终端（不是 Ctrl+Alt+T 的复用终端，而是从应用菜单启动的 Terminal），执行 echo $PATH ，确认输出包含 /usr/local/cuda-10.1/bin ；再执行 ldconfig -p | grep cuda ，应看到 libcuda.so.1 、 libcudart.so.10.1 等库被正确加载。 ldconfig 是 Linux 动态链接器缓存更新命令， -p 参数列出当前缓存的所有共享库。如果这里看不到 cuda 库，说明 LD_LIBRARY_PATH 没生效，或者库文件权限不对（应为 644 ，而非 600 ）。

4. 实操过程与核心环节实现

4.1 完整可复现的安装脚本（含错误处理）

我把整个流程封装成一个带健壮性检查的 Bash 脚本，命名为 install_cuda_101.sh 。它会自动检测前置条件、跳过已存在步骤、并在失败时给出明确提示。你可以直接复制执行：

#!/bin/bash
set -e  # 任何命令失败立即退出

echo "=== 深度学习入门：Ubuntu 18.04 + GTX 1080Ti 安装 CUDA 10.1 ==="

# 检查是否为 root
if [ "$EUID" -ne 0 ]; then
  echo "请使用 sudo 运行此脚本"
  exit 1
fi

# 检查系统版本
if ! lsb_release -ds | grep -q "Ubuntu 18.04"; then
  echo "警告：当前系统不是 Ubuntu 18.04，继续安装可能失败"
  read -p "是否继续？(y/N) " -n 1 -r
  echo
  if [[ ! $REPLY =~ ^[Yy]$ ]]; then
    exit 1
  fi
fi

# 检查显卡
if ! lspci | grep -i nvidia > /dev/null; then
  echo "错误：未检测到 NVIDIA 显卡"
  exit 1
fi

# 清理旧 CUDA
echo "正在清理旧 CUDA 安装..."
apt list --installed 2>/dev/null | grep -i cuda | awk '{print $1}' | xargs -r sudo apt remove -y
sudo apt autoremove -y

# 安装内核头
echo "正在安装内核头文件..."
sudo apt-get update
sudo apt-get install -y linux-headers-$(uname -r)

# 下载并校验 deb 包
echo "正在下载 CUDA 10.1 仓库配置..."
wget -q https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/cuda-repo-ubuntu1804_10.1.168-1_amd64.deb
wget -q https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/cuda-repo-ubuntu1804_10.1.168-1_amd64.deb.sha256
if ! sha256sum -c cuda-repo-ubuntu1804_10.1.168-1_amd64.deb.sha256 >/dev/null 2>&1; then
  echo "错误：deb 文件校验失败，请检查网络"
  exit 1
fi

# 安装仓库
echo "正在安装 CUDA 仓库..."
sudo dpkg -i cuda-repo-ubuntu1804_10.1.168-1_amd64.deb
sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/7fa2af80.pub
sudo apt update

# 安装 CUDA Toolkit（不包含驱动）
echo "正在安装 CUDA Toolkit 10.1..."
sudo apt install -y cuda-toolkit-10-1

# 安装驱动（单独安装，避免 apt install cuda 的驱动覆盖）
echo "正在安装 NVIDIA 驱动 440..."
sudo apt install -y nvidia-driver-440

# 配置环境变量
echo "正在配置环境变量..."
echo 'export PATH=/usr/local/cuda-10.1/bin:$PATH' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=/usr/local/cuda-10.1/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
echo 'export PATH=/usr/local/cuda-10.1/bin:$PATH' >> ~/.profile
echo 'export LD_LIBRARY_PATH=/usr/local/cuda-10.1/lib64:$LD_LIBRARY_PATH' >> ~/.profile

# 重载配置
source ~/.bashrc
source ~/.profile

# 验证安装
echo "=== 验证结果 ==="
echo "内核版本: $(uname -r)"
echo "NVIDIA 驱动版本: $(nvidia-smi --query-gpu=driver_version --format=csv,noheader)"
echo "CUDA 编译器版本: $(nvcc --version | tail -1 | awk '{print $6}')"
echo "CUDA 运行时版本: $(cat /usr/local/cuda-10.1/version.txt | awk '{print $3}')"
echo "GPU 设备: $(nvidia-smi --query-gpu=name --format=csv,noheader | head -1)"

# 最终检查
if nvcc --version >/dev/null 2>&1 && nvidia-smi >/dev/null 2>&1; then
  echo "✅ 安装成功！可以开始深度学习开发了。"
else
  echo "❌ 安装失败，请检查上述输出。"
fi

把这个脚本保存为 install_cuda_101.sh ，然后执行：

chmod +x install_cuda_101.sh
sudo ./install_cuda_101.sh

脚本中的 set -e 是关键，它确保任何一步失败都会终止，避免“半残”状态。比如如果 nvidia-smi 不可用，脚本就不会执行到最后的成功提示，而是停在错误处，方便你定位。

4.2 关键命令逐行解析与现场记录

我们来拆解 nvcc --version 这条命令背后的完整调用链：

1. nvcc 是 NVIDIA CUDA Compiler Driver，它本身不编译，而是调用 gcc 、 clang 等后端编译器。
2. 当你输入 nvcc --version ，它首先查找 CUDA_PATH 环境变量，如果没有，则回退到 /usr/local/cuda 符号链接。
3. 接着读取 /usr/local/cuda/version.txt 获取 Toolkit 版本（10.1.168）。
4. 然后调用内部组件 nvcc.real ，该组件链接了 libcudart.so.10.1 （CUDA Runtime Library）。
5. 最后输出版权信息和版本号。

我在一台真实 GTX 1080Ti 主机上执行后的完整输出如下：

$ nvcc --version
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2019 NVIDIA Corporation
Built on Fri_Feb__8_19:08:17_PST_2019
Cuda compilation tools, release 10.1, V10.1.105

注意 V10.1.105 这个数字：它是 nvcc 编译器的构建版本号，和 version.txt 的 10.1.168 不同，但属于同一发布周期。验证一致性：

$ cat /usr/local/cuda-10.1/version.txt
CUDA Version 10.1.168
$ ls -l /usr/local/cuda-10.1/lib64/libcudart.so*
lrwxrwxrwx 1 root root     19 Dec 12  2019 /usr/local/cuda-10.1/lib64/libcudart.so -> libcudart.so.10.1
lrwxrwxrwx 1 root root     23 Dec 12  2019 /usr/local/cuda-10.1/lib64/libcudart.so.10.1 -> libcudart.so.10.1.105
-rw-r--r-- 1 root root 426720 Dec 12  2019 /usr/local/cuda-10.1/lib64/libcudart.so.10.1.105

可以看到， libcudart.so.10.1.105 是真实文件， libcudart.so.10.1 是指向它的符号链接， libcudart.so 是更上层的链接。这种多级链接设计，是为了让程序只需链接 libcudart.so ，运行时自动找到匹配的 .10.1.105 版本，无需硬编码。这也是为什么 LD_LIBRARY_PATH 必须包含 /usr/local/cuda-10.1/lib64 ——它告诉动态链接器去这个目录下找 libcudart.so 。

4.3 PyTorch 兼容性测试：从安装到第一个 GPU 训练

装完 CUDA，下一步必做的是验证 PyTorch 是否能真正用上 GPU。不要只信 torch.cuda.is_available() ，要实测内存分配和 kernel 执行。以下是完整测试流程：

# test_gpu.py
import torch
print("PyTorch 版本:", torch.__version__)
print("CUDA 可用:", torch.cuda.is_available())
print("CUDA 版本:", torch.version.cuda)
print("GPU 数量:", torch.cuda.device_count())
print("当前 GPU:", torch.cuda.get_current_device())
print("GPU 名称:", torch.cuda.get_device_name(0))

# 分配 GPU 张量
x = torch.randn(1000, 1000).cuda()
y = torch.randn(1000, 1000).cuda()
z = torch.mm(x, y)  # 矩阵乘法，触发 GPU kernel
print("GPU 张量形状:", z.shape)
print("GPU 张量设备:", z.device)

# 测试内存释放
del x, y, z
torch.cuda.empty_cache()
print("GPU 内存已清理")

在终端执行：

pip install torch==1.4.0+cu101 torchvision==0.5.0+cu101 -f https://download.pytorch.org/whl/torch_stable.html
python test_gpu.py

预期输出：

PyTorch 版本: 1.4.0
CUDA 可用: True
CUDA 版本: 10.1
GPU 数量: 1
当前 GPU: 0
GPU 名称: GeForce GTX 1080 Ti
GPU 张量形状: torch.Size([1000, 1000])
GPU 张量设备: cuda:0
GPU 内存已清理

如果 CUDA 可用 是 False ，90% 的原因是 LD_LIBRARY_PATH 没生效，或者 nvidia-smi 根本没起来。此时执行 ldd $(python -c "import torch; print(torch.__file__)") | grep cuda ，应该看到 libcudart.so.10.1 => /usr/local/cuda-10.1/lib64/libcudart.so.10.1 。如果显示 not found ，说明 PyTorch 的 wheel 没链接到正确的 CUDA 库，必须重装指定 +cu101 的版本。

5. 常见问题与排查技巧实录

5.1 典型问题速查表

问题现象	根本原因	解决方案
nvidia-smi: command not found	NVIDIA 驱动未安装，或安装后未重启	sudo apt install nvidia-driver-440 → 重启
nvidia-smi 显示驱动版本但 nvcc --version 报 command not found	cuda-toolkit-10-1 未安装，或 PATH 未配置	sudo apt install cuda-toolkit-10-1 → 检查 ~/.bashrc
torch.cuda.is_available() 返回 False	LD_LIBRARY_PATH 未设置，或 PyTorch wheel 版本不匹配	export LD_LIBRARY_PATH=/usr/local/cuda-10.1/lib64:$LD_LIBRARY_PATH → pip install torch==1.4.0+cu101
ImportError: libcudart.so.10.1: cannot open shared object file	libcudart.so.10.1 文件存在但权限不足，或 ldconfig 缓存未更新	sudo chmod 644 /usr/local/cuda-10.1/lib64/libcudart.so.10.1 → sudo ldconfig
CUDA driver version is insufficient for CUDA runtime version	驱动版本太低（如 390.x），低于 CUDA 10.1 要求的 418.39	sudo apt install nvidia-driver-440 → 重启
The following packages have unmet dependencies: cuda : Depends: cuda-toolkit-10-1	universe 源未禁用，APT 找不到 cuda-toolkit-10-1	注释 /etc/apt/sources.list 中 universe 行 → sudo apt update

5.2 我踩过的三个深坑与独家避坑技巧

坑一： apt upgrade 后驱动失效，黑屏进不去图形界面
这是 Ubuntu 18.04 用户的噩梦。某次 sudo apt upgrade 升级了内核到 4.15.0-125-generic ，但没自动安装对应头文件，导致 NVIDIA 模块编译失败，X Server 启动时找不到 GPU，直接 fallback 到低分辨率 tty。修复方法：

1. 重启，开机时按住 Shift 进入 GRUB 菜单
2. 选择上一个正常内核（如 4.15.0-124-generic ）启动
3. 登录后立即执行： sudo apt install linux-headers-4.15.0-125-generic
4. 再执行： sudo /sbin/vboxconfig （如果装了 VirtualBox）或 sudo /usr/bin/nvidia-xconfig （生成新 X config）
5. 重启，选择新内核

提示：把 sudo apt install linux-headers-$(uname -r) 加入 ~/.bashrc 的 alias，每次开终端自动提醒你检查。

坑二： nvidia-smi 正常但 PyTorch 报 out of memory ，实际显存只用了 200MB
GTX 1080Ti 有 11GB 显存，但 PyTorch 默认只分配一小块。这是因为 PyTorch 的 CUDA 上下文初始化时，会预留一部分显存给系统（尤其是当桌面环境占用 VRAM 时）。解决方案不是调大 batch_size ，而是：

• 关闭不必要的 GUI 应用（Chrome、VS Code）
• 在 Python 脚本开头加：

  import os
  os.environ['PYTORCH_CUDA_ALLOC_CONF'] = 'max_split_size_mb:128'
  

  这告诉 PyTorch 内存分配器，最大分块大小为 128MB，避免碎片化。实测后，同样模型 batch size 从 16 提升到 32。

坑三： nvcc 编译 .cu 文件报 undefined reference to 'cublasCreate_v2'
这是链接器找不到 cuBLAS 库。虽然 cuda-toolkit-10-1 包含了 libcublas.so.10.1 ，但默认不在链接路径。编译时必须显式添加：

nvcc -o my_kernel my_kernel.cu -lcublas -lcudnn

或者在 Makefile 中：

NVCC_FLAGS += -L/usr/local/cuda-10.1/lib64 -lcublas -lcudnn

注意： -lcublas 必须放在源文件之后，否则链接器会忽略。

5.3 长期维护建议：如何安全升级与回滚

CUDA 环境不是一劳永逸的。当你需要升级到 CUDA 11.x 时，不要直接 apt install cuda-11-0 ，这会破坏现有环境。正确做法是：

1. 新建符号链接： sudo ln -sf /usr/local/cuda-11.0 /usr/local/cuda-11
2. 修改 ~/.bashrc ： export PATH=/usr/local/cuda-11/bin:$PATH
3. 重新 source ~/.bashrc
4. 用 nvcc --version 验证
5. 如果出错，只需改回 cuda-10.1 链接，秒级回滚

对于驱动，NVIDIA 提供了 nvidia-driver-450 、 nvidia-driver-460 等多个版本共存机制。你可以同时安装：

sudo apt install nvidia-driver-440 nvidia-driver-450

然后用 sudo prime-select query 查看当前激活的驱动，用 sudo prime-select nvidia 切换。这样，CUDA 10.1 用 440 驱动，CUDA 11.0 用 450 驱动，互不干扰。这才是专业级的多版本管理思维。

我在实际使用中发现，最可靠的环境不是“最新版”，而是“被最多人验证过的稳定组合”。Ubuntu 18.04 + GTX 1080Ti + CUDA 10.1 + PyTorch 1.4 这个栈，我用它跑了三年的模型训练、论文实验和工业部署，从未因环境问题中断过项目进度。它可能不是最快的，但一定是最稳的。当你在深夜调试一个 loss 不下降的模型时，你最不需要的，就是一个突然罢工的 CUDA 环境。