前面博文介绍了nnn元语法模型，其中单词xtx_txt​在时间步ttt的条件概率仅取决于前面n−1n-1n−1个单词。对于时间步t−(n−1)t-(n-1)t−(n−1)之前的单词，如果想将其可能产生的影响合并到xtx_txt​上，需要增加nnn，导致模型参数的数量也会随之呈指数增长，因为词表V\mathcal{V}V需要存储∣V∣n|\mathcal{V}|^n∣V∣n个数字，因此与其将P(xt

图像分类训练技巧之数据增强

自注意力同时具有并行计算和最短的最大路径长度这两个优势。因此使用自注意力来设计深度架构是很有吸引力的。对比依赖循环神经网络实现输入表示的自注意力模型，transformer模型完全基于注意力机制，没有任何卷积层或循环神经网络层。尽管transformer最初是应用于在文本数据上的序列到序列学习，但现在已经推广到各种现代的深度学习中，例如语言、视觉、语音和强化学习领域。......

主要是由于在coding过程中，有时需要取出很多我们需要的key对应的value来处理。默认输出为按照key排序的序列。

nvidia-smi通过输出得到可以得到GPU占用情况和主要使用GPU的进程下图所示:根据结果可以看到进程1081543在跑训练。

对于序列数据处理问题，上篇文章：李沐动手学深度学习V2-序列模型和代码实现评估了所需的统计工具和预测时面临的挑战，这样的数据存在许多种形式，文本是最常见例子之一。 例如一篇文章可以被简单地看作是一串单词序列，甚至是一串字符序列。文本的常见预处理步骤：首先从H.G.Well的时光机器中加载文本。这是一个相当小的语料库，只有30000多个单词，而现实中的文档集合可能会包含数十亿个单词。下面的函数将数据

本节锚框代码实现，使用了很多Pytorch内置函数，如果有对应函数看不懂的地方，可以查看前面博客对相应函数的具体解释，如下链接所示：目标检测算法通常会在输入图像中采样大量的区域，然后判断这些区域中是否包含我们感兴趣的目标，并调整区域边界从而更准确地预测目标的真实边界框（ground-truth bounding box）。 不同的模型使用的区域采样方法可能不同。 这里介绍其中的一种方法：以每个像素

BERT通过使用预训练的Transformer编码器，能够基于其双向上下文表示任何词元，在下游任务的监督学习过程中，BERT在两个方面与GPT相似。。

1.GPU在Pytorch中使用在PyTorch中，每个数组都有一个设备（device）， 我们通常将其称为上下文（context）。 默认情况下，所有变量和相关的计算都分配给CPU。 有时上下文可能是GPU。 当我们跨多个服务器部署作业时，事情会变得更加棘手。 通过智能地将数组分配给上下文， 我们可以最大限度地减少在设备之间传输数据的时间。 例如，当在带有GPU的服务器上训练神经网络时， 我们通

与多层感知机一样，循环神经网络也可以将多层循环神经网络堆叠在一起， 通过对几个简单层的组合，产生了一个灵活的机制。 特别是，数据可能与不同层的堆叠有关。 下图所示描述了一个具有 𝐿 个隐藏层的深度循环神经网络， 每个隐状态都连续地传递到当前层的下一个时间步输入和当前层下一层的当前时间步输入。假设在时间步ttt有一个小批量的输入数据Xt∈Rn×d\mathbf{X}_t \in \mathbb{R