刚开始训练深度学习模型时，很多同学会发现同一份代码用 CPU 需要很久，切换到 GPU 后速度明显提升，于是很容易得出“GPU 的核心更多，所以一定更快”的结论。可实际训练中又会出现一些反常现象：显卡占用率忽高忽低，小模型放到 GPU 上没有明显加速，显存已经占满，计算利用率却很低。

GPU 能加速深度学习，关键在于神经网络包含大量可并行的矩阵乘法、卷积和逐元素运算，这类计算正好符合 GPU 追求高吞吐量的设计。速度还受到 Batch Size、显存、数据传输、数据加载、数值精度和软件实现共同影响。本文会沿着一个 Batch 的训练过程，讲清 CPU 与 GPU 如何分工，也说明哪些情况下 GPU 未必是更合适的选择。

一、深度学习的大部分时间花在什么计算上

神经网络看起来由卷积层、全连接层、注意力层和激活函数组成，落到硬件上，主要是张量之间的数值运算。全连接层的核心是矩阵乘法，卷积可以转换或组织为高度并行的乘加计算，Transformer 中的线性投影和注意力也包含大规模矩阵运算。

训练还要完成反向传播。前向传播计算各层输出，损失函数衡量预测误差；反向传播再沿计算图求出大量参数的梯度。模型参数越多、输入分辨率越高、序列越长，需要完成的乘法、加法和数据读写就越多。

这些运算有一个共同特点：大量元素要执行相同或相似的计算。例如，一个矩阵中的许多元素可以同时参与乘加，一批图片也可以在同一层中并行处理。计算任务只要足够大，就能拆成许多小任务交给大量计算单元一起完成。

GPU 原本为图形渲染设计，需要同时处理海量顶点、像素和纹理数据。后来它发展出通用并行计算能力，而神经网络恰好也需要大规模、规则化的数值运算，两者由此形成了很好的匹配。

二、CPU 和 GPU 的设计目标有什么不同

CPU 是通用处理器，需要运行操作系统、处理程序逻辑、响应中断、执行复杂分支，并快速完成各种规模和类型的任务。它通常拥有数量相对较少但功能复杂的核心，同时配备较强的缓存、分支预测和乱序执行能力，擅长降低单个任务的响应延迟。

GPU 更重视总体吞吐量。芯片会把更多资源用于大量并行计算单元，让许多线程同时执行相似指令。单个计算单元的控制能力未必像 CPU 核心那样强，但成批数据进入之后，可以同时完成大量乘加运算。

可以把 CPU 看成擅长处理复杂事务的调度者，把 GPU 看成能够同时执行大批规则计算的数值工厂。这个类比只用于说明分工，真实硬件远比“几个强核心对很多弱核心”复杂。现代 CPU 也有向量指令和多核并行，现代 GPU 同样具备缓存、调度与分支处理能力。

深度学习训练既需要控制，也需要计算。Python 代码、数据读取和任务调度通常由 CPU 负责，最耗时的张量运算则交给 GPU。完整训练过程依赖两者协作，显卡无法独自完成所有工作。

三、一个 Batch 是怎样进入 GPU 的

训练开始前，数据通常存放在硬盘或其他存储设备中。DataLoader 读取文件，CPU 完成解码、裁剪、数据增强和组 Batch，再把结果放入内存。随后，输入张量和标签通过总线从内存传到 GPU 显存。

模型参数也要位于同一设备。调用框架的设备迁移接口后，参数会被复制到显存。前向传播产生的中间激活、反向传播计算的梯度以及优化器状态，也会占用 GPU 内存。若输入在 GPU、模型仍在 CPU，框架通常会报告设备不一致，无法直接计算。

数据到达显存后，框架会调用底层计算库执行卷积、矩阵乘法、归一化和激活等操作。许多 GPU 内核按队列异步提交，CPU 可以继续安排后续工作。遇到必须取回结果或显式同步的操作时，CPU 才需要等待 GPU 完成。

一个 Batch 训练结束后，下一批数据继续进入。理想状态下，CPU 准备数据和 GPU 计算能够部分重叠，让显卡少等数据。任何一段供应不上，整体速度都会被最慢环节限制。

四、Batch 为什么有助于发挥 GPU 性能

单张图片也能送入 GPU，但任务太小时，可并行的工作量可能不足。启动 GPU 内核、安排线程和传输数据都有固定开销，如果真正计算只占很短时间，这些开销就会显得突出。

Batch 会把多条样本组合成更大的张量。相同网络层可以一次处理多张图片或多段序列，矩阵规模变大，GPU 的计算单元更容易保持忙碌。于是，适度提高 Batch Size 往往能增加训练吞吐量，也就是单位时间处理更多样本。

Batch 越大并不保证越好。它会增加激活值、梯度和临时张量的显存占用，还可能改变优化过程，需要重新考虑学习率与正则化。显存不足时，可以减小 Batch、降低输入尺寸、使用梯度累积或混合精度。

比较训练速度时，也要分清单个 Batch 耗时和整体吞吐量。更大的 Batch 可能让单步时间变长，却在同样时间里处理更多样本。用每秒样本数、每个 Epoch 时间和最终收敛时间一起判断，会比只看一次迭代更可靠。

五、显存容量和计算速度是两回事

显存用于存放模型参数、输入、前向激活、梯度、优化器状态和临时工作区。训练需要保留反向传播所需的中间结果，所以显存占用通常明显高于只做推理。Adam 等优化器还会为参数保存额外状态，进一步增加需求。

显存容量决定模型和 Batch 能否放得下，计算单元与内存带宽则影响运行速度。两张显卡即使显存相同，计算能力也可能差很多；显存更大的显卡也未必在所有模型上更快。

框架通常会使用显存缓存机制，任务管理器或监控工具显示的“已占用”内存，不一定全是当前张量正在使用的部分。缓存可以减少频繁申请和释放显存的成本，但也容易让初学者误以为存在内存泄漏。

出现显存不足时，先检查 Batch Size、输入尺寸、模型规模和训练精度。还要留意是否把带计算图的损失或输出长期保存在列表中，这会让本该释放的中间结果一直留在显存里。

六、混合精度为什么能提速并节省显存

深度学习过去常用 FP32 进行训练。现代 GPU 对 FP16、BF16 等较低精度数据提供了更高的计算吞吐量，一些硬件还配备专门执行矩阵运算的 Tensor Core。数据位宽降低后，存储同样数量的元素需要更少显存，内存读写压力也会下降。

混合精度训练会让适合低精度的操作使用 FP16 或 BF16，同时让对数值范围和稳定性更敏感的部分保留较高精度。PyTorch 的自动混合精度可以根据算子选择合适类型，FP16 训练还常配合梯度缩放，减少过小梯度下溢的风险。

混合精度的收益取决于显卡架构、模型结构、张量尺寸和算子支持。很小的模型、数据加载受限的任务，或者大量操作无法利用低精度加速时，效果可能不明显。使用后还要检查训练损失和验证指标，不能只看速度。

它也不能把显存需求无限压低。模型参数、激活、梯度和优化器状态的精度策略各不相同，实际节省比例会随训练方案变化。遇到大型模型时，还可能需要梯度检查点、参数分片或多 GPU 训练。

七、为什么深度学习生态更偏向 GPU

硬件适合只是基础，成熟的软件生态同样重要。NVIDIA 的 CUDA 提供通用 GPU 编程平台，cuBLAS、cuDNN 等库针对矩阵运算与深度神经网络算子做了长期优化。PyTorch、TensorFlow 等框架把这些能力封装成张量接口，开发者通常不需要自己编写 GPU 内核。

框架会为常见卷积、矩阵乘法、注意力和归一化操作选择合适实现。硬件、驱动、运行时、计算库和框架形成完整链路，GPU 才能在实际模型中发挥性能。仅有高规格显卡，驱动或软件版本不兼容，训练程序仍然无法正常使用加速。

GPU 也不只指 CUDA 设备。部分 AMD GPU 可以通过 ROCm 使用深度学习框架，Apple 芯片提供 MPS 等后端，云端还存在 TPU 和其他 AI 加速器。它们的共同方向是为大规模张量运算提供更高效率，只是软件支持、算子覆盖和开发体验有所差异。

选择硬件时，除了计算性能，还要检查框架支持、显存容量、驱动环境、功耗、成本和部署条件。项目能够稳定运行，比单看理论浮点性能更重要。

八、有 GPU 为什么训练仍然很慢

第一种常见情况是 GPU 在等数据。图片存储较慢、解码开销高、数据增强太复杂或 DataLoader 进程数不合适，都会让下一批数据迟迟不能送达。此时 GPU 利用率周期性下降，增加显卡算力也解决不了输入瓶颈。

第二种情况是计算规模太小。模型很轻、输入尺寸小、Batch Size 过低时，GPU 启动和调度开销占比上升。可以在显存允许范围内适度增大 Batch，并用性能分析工具确认时间花在什么地方。

第三种情况是频繁传输与同步。循环里反复把小张量从 CPU 传到 GPU，或频繁调用 .item()、打印 GPU 张量，会迫使程序等待结果并产生额外通信。更合理的做法是尽量成批传输，在确实需要日志时再取回少量数值。

第四种情况是某些算子无法高效并行。复杂控制流、自定义操作、张量形状不合适或算子实现欠佳，都可能降低 GPU 效率。看到利用率低时，先用分析工具找到耗时算子，再决定调整数据管线、模型结构还是运行配置。

九、哪些情况下不一定需要 GPU

学习基本语法、检查张量形状、调试数据集和验证一小段训练循环时，CPU 完全够用。先在 CPU 或小规模输入上跑通流程，还能减少设备迁移和显存问题对调试的干扰。

线性回归、树模型等传统机器学习任务通常更适合 CPU。参数很少的神经网络、小型表格数据和极小数据集，也未必能提供足够并行工作让 GPU 显出优势。

部署阶段更要看真实需求。单条请求、严格控制成本或目标设备没有独立显卡时，优化后的 CPU 推理可能已经满足延迟要求；批量推理、高分辨率视觉模型和大型语言模型则更容易从 GPU 获益。

判断是否需要 GPU，可以实际测量端到端时间。把数据读取、预处理、传输、推理或训练全部算进去，同时记录吞吐量、延迟、显存与功耗。只比较某个矩阵运算的速度，很难代表完整系统。

结语

深度学习通常需要 GPU，是因为训练包含大规模、规则且可并行的矩阵乘法、卷积和梯度计算，而 GPU 的高吞吐架构与这些运算高度匹配。CPU 负责数据准备、程序控制和任务调度，GPU 负责密集张量计算，两者协作才能形成完整训练流程。GPU 的实际收益还受 Batch Size、显存、数据加载、传输同步、数值精度和软件支持影响；小模型、调试任务和部分单样本推理使用 CPU 也很合理。理解这条计算链路后，遇到显存已满、利用率很低或训练仍然缓慢时，才能找到真正的瓶颈。

项目咨询

如果你正在做深度学习毕设、模型训练或论文实验，遇到选题、数据集、代码调试、模型改进、论文写作等问题，可以通过评论或私信咨询主包。