主要是由于在coding过程中，有时需要取出很多我们需要的key对应的value来处理。默认输出为按照key排序的序列。

nvidia-smi通过输出得到可以得到GPU占用情况和主要使用GPU的进程下图所示:根据结果可以看到进程1081543在跑训练。

对于序列数据处理问题，上篇文章：李沐动手学深度学习V2-序列模型和代码实现评估了所需的统计工具和预测时面临的挑战，这样的数据存在许多种形式，文本是最常见例子之一。 例如一篇文章可以被简单地看作是一串单词序列，甚至是一串字符序列。文本的常见预处理步骤：首先从H.G.Well的时光机器中加载文本。这是一个相当小的语料库，只有30000多个单词，而现实中的文档集合可能会包含数十亿个单词。下面的函数将数据

本节锚框代码实现，使用了很多Pytorch内置函数，如果有对应函数看不懂的地方，可以查看前面博客对相应函数的具体解释，如下链接所示：目标检测算法通常会在输入图像中采样大量的区域，然后判断这些区域中是否包含我们感兴趣的目标，并调整区域边界从而更准确地预测目标的真实边界框（ground-truth bounding box）。 不同的模型使用的区域采样方法可能不同。 这里介绍其中的一种方法：以每个像素

关于数据增广的笔记

函数：requires_grad_(requires_grad=True)

前面博文介绍了nnn元语法模型，其中单词xtx_txt​在时间步ttt的条件概率仅取决于前面n−1n-1n−1个单词。对于时间步t−(n−1)t-(n-1)t−(n−1)之前的单词，如果想将其可能产生的影响合并到xtx_txt​上，需要增加nnn，导致模型参数的数量也会随之呈指数增长，因为词表V\mathcal{V}V需要存储∣V∣n|\mathcal{V}|^n∣V∣n个数字，因此与其将P(xt

自注意力同时具有并行计算和最短的最大路径长度这两个优势。因此使用自注意力来设计深度架构是很有吸引力的。对比依赖循环神经网络实现输入表示的自注意力模型，transformer模型完全基于注意力机制，没有任何卷积层或循环神经网络层。尽管transformer最初是应用于在文本数据上的序列到序列学习，但现在已经推广到各种现代的深度学习中，例如语言、视觉、语音和强化学习领域。......

前面博文介绍了nnn元语法模型，其中单词xtx_txt​在时间步ttt的条件概率仅取决于前面n−1n-1n−1个单词。对于时间步t−(n−1)t-(n-1)t−(n−1)之前的单词，如果想将其可能产生的影响合并到xtx_txt​上，需要增加nnn，导致模型参数的数量也会随之呈指数增长，因为词表V\mathcal{V}V需要存储∣V∣n|\mathcal{V}|^n∣V∣n个数字，因此与其将P(xt

1. 多GPU数据并行简洁实现一般来说， 𝑘 个GPU数据并行训练过程如下：在任何一次训练迭代中，给定的随机的小批量样本都将被分成 𝑘 个部分，并均匀地分配到GPU上。每个GPU根据分配给它的小批量子集，计算模型的损失和参数的梯度。将 𝑘 个GPU中的局部梯度聚合，以获得当前小批量的随机梯度。聚合梯度被重新分发到每个GPU中。每个GPU使用这个小批量随机梯度，来更新它所维护的完整的模型参数集