本文面向工程实践介绍深度学习框架PyTorch，说明张量、自动求导和模块等核心概念，并描述在CPU/GPU上构建、训练和部署模型的典型工作流程。通过示意图表展示训练损失、准确率和GPU资源使用等信息，以帮助读者形成完整的工程视角。

图1：示意PyTorch模型在训练过程中损失随Epoch下降的趋势（示意）。

图2：示意PyTorch分类模型在训练集与验证集上的Accuracy曲线（示意）。

图3：示意使用PyTorch训练模型时每个Epoch的GPU显存占用变化（示意）。

模块	用途	典型用法	说明
torch.nn.Module	所有神经网络模块的基类。	定义自定义模型和层。	负责参数注册和forward函数实现。
torch.optim	优化算法。	使用SGD、Adam、RMSprop进行训练。	通过model.parameters()操作参数。
torch.utils.data.DataLoader	小批量数据加载。	对数据集进行批处理和随机打乱。	可通过num_workers使用多进程加载。
torch.autograd	自动求导引擎。	支持基于计算图的反向传播。	实现loss.backward()和梯度计算。
torch.nn.functional	函数式接口。	使用F.relu、F.conv2d等无状态函数。	常用于自定义forward中的算子调用。

表1：PyTorch核心模块及其在模型开发中的典型角色。

步骤	示例代码（概念）	描述	说明
前向计算	outputs = model(inputs)	将输入送入模型得到预测结果。	需确保输入和模型在同一device上。
计算损失	loss = criterion(outputs, targets)	根据预测与标签计算标量损失。	根据任务选择合适loss，如CrossEntropyLoss。
反向传播	loss.backward()	基于自动求导计算梯度。	在调用前通常需要optimizer.zero_grad()清空旧梯度。
更新参数	optimizer.step()	根据梯度更新模型参数。	常与scheduler.step()结合进行学习率调度。

表2：标准PyTorch训练循环中的概念步骤。

模式	示例	场景	说明
单GPU	device = torch.device('cuda')	在一块GPU上训练。	使用前需检查torch.cuda.is_available()。
CPU回退	device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')	在不同环境下通用的脚本。	教程和Demo中常见写法。
DataParallel	model = torch.nn.DataParallel(model)	单机多GPU的简单并行训练。	新项目更推荐使用DistributedDataParallel。
DistributedDataParallel	DDP(model, device_ids=[rank])	多GPU/多节点高性能训练。	需要torch.distributed初始化及多进程。

表3：PyTorch中CPU/GPU及分布式训练的常见设备管理模式。

1. 张量与基本操作

PyTorch中的张量是存储输入、参数和中间激活值的基本数据结构，其操作方式与NumPy数组类似，包括索引、广播和线性代数运算等。与NumPy不同的是，张量可以位于不同设备（如CPU或GPU）上，算子会根据设备自动分发。

创建张量通常通过torch.tensor、torch.zeros、torch.ones、torch.rand等函数完成。利用tensor.numpy()和torch.from_numpy()可以在NumPy数组和张量之间转换。在工程实践中，需要注意数据类型和device的管理，以避免不必要的拷贝并保证计算在期望的设备上执行。

2. 自动求导与计算图

PyTorch使用动态图计算图实现自动求导。当张量的requires_grad=True时，框架会在执行算子时构建计算图。在标量损失上调用backward()会沿图反向传播，计算所有需要梯度的张量的梯度值。

动态图的优势在于可以自然表达包含循环和条件分支的复杂控制流，因为每次前向传播都会重新构建计算图。工程上需注意在迭代之间清空梯度（optimizer.zero_grad()），以及在推理或评估阶段使用torch.no_grad()上下文避免不必要的梯度跟踪。

3. 使用torch.nn.Module构建模型

大多数PyTorch模型通过继承torch.nn.Module并实现forward方法来定义。模块可以包含参数（如nn.Linear、nn.Conv2d、nn.LSTM等）以及其他子模块，从而形成层次化结构。parameters()和named_parameters()方法返回优化器用于更新权重的迭代器。

torch.nn中预定义了大量常用层，包括全连接层、卷积层、循环单元和归一化层等。结合torch.nn或torch.nn.functional中的非线性激活函数，可以快速搭建复杂网络，同时保持代码的可读性和模块化。

4. 数据加载与Dataset抽象

PyTorch的数据工具围绕Dataset和DataLoader展开。自定义数据集通常继承torch.utils.data.Dataset并实现__len__和__getitem__方法，由DataLoader负责按批次迭代样本。DataLoader支持shuffle、batch以及通过num_workers进行多进程加载。

针对视觉和NLP任务，torchvision和torchtext提供了现成的数据集和变换。合理使用归一化、数据增强和文本分词等transform，对于获得良好性能以及保证训练和推理阶段预处理一致性至关重要。

5. 训练循环与优化

在PyTorch中训练通常以Epoch和Mini-batch为循环单位。在每次迭代中，将输入和标签移动到目标device，执行前向计算获得输出，计算loss，调用backward()计算梯度，随后通过optimizer.step()更新参数。可以使用StepLR、CosineAnnealingLR等学习率调度器控制学习率随时间的变化。

常用优化器包括SGD（可选动量）、Adam和RMSprop等。优化器选择以及学习率、权重衰减等超参数对收敛速度和泛化能力有显著影响。在训练与验证过程中记录loss和准确率等指标，有助于及早发现发散或过拟合问题。

6. GPU与分布式训练

PyTorch通过张量和模块的to(device)方法轻松支持GPU计算。在单GPU场景下，只需将模型和数据迁移到cuda设备即可完成训练。对于更大规模的任务，可以使用torch.nn.DataParallel或torch.nn.parallel.DistributedDataParallel（DDP）实现多GPU或多节点训练。

DDP是推荐的高性能分布式训练方式，可高效同步梯度并扩展至多个GPU。使用torch.distributed需要初始化进程组并为每个GPU启动一个进程。在分布式环境中，需要合理设计数据采样和日志记录，以避免重复计算并保持各Rank之间的指标可比性。

7. 模型评估、保存与加载

在PyTorch中评估通常在torch.no_grad()上下文和model.eval()模式下进行，以关闭Dropout和BatchNorm的训练行为。在验证或测试集上计算Accuracy、Precision或Loss等指标，用于衡量模型泛化能力。

模型保存一般通过torch.save()实现，常见做法是保存state_dict，其中包含参数张量；加载时使用torch.load()并调用model.load_state_dict()。虽然也可以保存完整模型对象，但这种方式依赖于具体类定义和代码结构，跨版本或跨工程迁移时灵活性较差。

8. 部署与系统集成考虑

PyTorch模型可以通过多种方式部署：在Python服务中直接调用、使用TorchScript（torch.jit.trace或torch.jit.script）生成可序列化图，或导出为ONNX格式供其他推理引擎消费。TorchScript为在具有严格性能或依赖要求的生产环境中优化和序列化模型提供了一条路径。

在更大系统中集成PyTorch模型时，需要考虑输入归一化、异常处理、日志与监控等问题。工程师通常将模型封装为REST或gRPC服务，调度批量推理作业或在数据流水线中嵌入PyTorch组件。保持随机种子、依赖版本和硬件配置的一致性是保证可复现性的关键。