深度学习环境搭建指南：CUDA、cuDNN、PyTorch 及 TensorRT 配置

本文档旨在指导如何在Windows环境下从零搭建深度学习推理环境，重点包含显卡驱动更新、CUDA/cuDNN安装、PyTorch部署以及 TensorRT 的详细配置流程。

1. 更新显卡驱动

在安装任何CUDA工具包之前，首先需要确保显卡驱动是最新的，以支持较高版本的CUDA。

1. 前往 NVIDIA驱动下载官网。

2. 根据你的显卡型号（如RTX 3090, RTX 4090等）和操作系统选择对应的驱动。

3. 下载并运行安装包，选择"自定义安装"并勾选"执行清洁安装"以确保旧配置被清除。

2. 查看CUDA支持版本

驱动更新完成后，需要确认当前驱动支持的最高CUDA版本。

1. 按下 Win + R，输入 cmd 打开命令提示符。

2. 输入以下命令并回车：

nvidia-smi

3. 观察右上角显示的 CUDA Version（例如 12.2）。

注意：这里显示的版本是你当前驱动支持的最高CUDA版本，你安装的CUDA Toolkit版本可以低于或等于此版本，但不能高于它。

3. 安装 CUDA Toolkit

根据上一步确认的版本，下载对应的CUDA Toolkit。

1. 前往 CUDA Toolkit Archive。

2. 选择与你需求匹配的版本（建议与 nvidia-smi 显示版本一致或略低）。

3. 选择操作系统（Windows）、架构（x86_64）和版本（10/11），下载 exe (local) 安装包。

4. 运行安装程序，建议选择"精简"或"自定义"安装，记住安装路径（默认为 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.x）。

4. 安装 cuDNN

cuDNN是基于CUDA的深层神经网络库，必须与CUDA版本严格对应。

1. 前往 NVIDIA cuDNN下载页面（需登录NVIDIA账号）。

2. 下载与已安装CUDA版本匹配的cuDNN（例如 CUDA 11.x 对应 cuDNN 8.x）。

3. 运行安装程序 建议选择"精简"或"自定义"安装，记住安装路径

5. 安装 PyTorch

使用pip安装与CUDA版本对应的PyTorch。

在命令行中输入（以CUDA 11.8为例，具体请参照PyTorch官网命令）：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

注：如果是其他CUDA版本，请将 cu118 替换为对应版本号。

6. 下载并配置 TensorRT（关键步骤）

TensorRT是NVIDIA的高性能深度学习推理SDK。

6.1 下载 TensorRT

1. 前往 TensorRT下载页面（https://developer.nvidia.cn/tensorrt/download）。

2. 选择与你操作系统和已安装CUDA版本相匹配的TensorRT版本。

3. 下载 Zip 格式的安装包（推荐Zip格式，方便手动配置）。

6.2 确定CUDA路径

我们需要知道CUDA具体安装在哪里。

1. 打开CMD。

2. 输入以下命令：

where nvcc

3. 系统会返回类似 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\bin\nvcc.exe 的路径。

记录此路径的前半部分，即 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8，这就是你的CUDA根目录。

6.3 解压与文件拷贝

1. 将下载好的 TensorRT 压缩包解压到一个没有中文路径的目录下（例如 D:\TensorRT-8.x.x.x）。

2. 重要操作：打开解压后的 TensorRT 文件夹，分别找到 lib 和 include 目录。

3. 将 lib 目录下的所有文件（通常是 .dll 和 .lib 文件）以及 include 目录下的所有头文件（.h 文件）分别复制。

4. 将 lib 目录下的文件粘贴到 CUDA 根目录下的 lib\x64 文件夹中（或 lib 文件夹），将 include 目录下的文件粘贴到 CUDA 根目录下的 include 文件夹中。

目的：让系统在调用CUDA库时能同时找到TensorRT的动态链接库和头文件。

6.4 配置环境变量

为了让系统全局识别TensorRT命令和库文件，需要配置环境变量。

1. 在Windows搜索栏搜索"编辑系统环境变量"。

2. 点击"环境变量"按钮。

3. 在"用户变量"或"系统变量"中找到 Path，双击编辑。

4. 点击"新建"，依次添加以下路径（请根据实际情况修改盘符和版本号）：

   - TensorRT的bin目录：D:\TensorRT-8.x.x.x\bin

   - CUDA的lib目录：C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\lib

   - CUDA的include目录：C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\include

   - CUDA的x64库目录：C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\lib\x64

5. 点击"确定"保存所有窗口。

7. 验证安装

重启电脑或重新打开CMD，输入以下命令验证：

1. 检查CUDA：

nvcc -V

2. 检查TensorRT（Python环境）：

python -c "import tensorrt; print(tensorrt.__version__)"

如果输出了对应的版本号，说明环境搭建成功！