处理序列数据需要统计工具和新的深度神经网络架构，如下图股票价格示例所示，其中用xtx_txt​表示价格，即在时间步（time step）t∈Z+t \in \mathbb{Z}^+t∈Z+时，观察到的价格xtx_txt​。注意ttt对于本文中的序列通常是离散的，并在整数或其子集上变化。假设一个交易员想在ttt日的股市中表现良好，于是通过以下途径预测xtx_txt​：xt∼P(xt∣xt−1,…,x

举个例子：我有两台机子，每台8张显卡，那就是2x8=16个进程，并行数是16。但是，我们也是可以给每个进程分配多张卡的。

机器翻译的数据集是由源语言和目标语言的文本序列对组成的，因此需要一种完全不同的方法来预处理机器翻译数据集， 而不是复用语言模型的预处理程序。首先，下载一个由Tatoeba项目的双语句子对组成的“英－法”数据集，数据集中的每一行都是制表符分隔的文本序列对，序列对由英文文本序列和翻译后的法语文本序列组成。注意每个文本序列可以是一个句子，也可以是包含多个句子的一个段落。在将英语翻译成法语的机器翻译问题中

在实践中，当给定相同的查询、键和值的集合时， 希望模型可以基于相同的注意力机制学习到不同的行为， 然后将不同的行为作为知识组合起来， 捕获序列内各种范围的依赖关系 （例如短距离依赖和长距离依赖关系）。 因此允许注意力机制组合使用查询、键和值的不同子空间表示（representation subspaces）可能是有益的。为此与其只使用单独一个注意力汇聚， 我们可以用独立学习得到的 ℎ 组不同的线性

自注意力同时具有并行计算和最短的最大路径长度这两个优势。因此使用自注意力来设计深度架构是很有吸引力的。对比依赖循环神经网络实现输入表示的自注意力模型，transformer模型完全基于注意力机制，没有任何卷积层或循环神经网络层。尽管transformer最初是应用于在文本数据上的序列到序列学习，但现在已经推广到各种现代的深度学习中，例如语言、视觉、语音和强化学习领域。......

1.ResNet1.1 神经网络嵌套函数和非嵌套函数(前提知识)：首先，假设有一类特定的神经网络架构F\mathcal{F}F，它包括学习速率和其他超参数设置。对于所有f∈Ff \in \mathcal{F}f∈F，存在一些参数集（例如权重和偏置），这些参数可以通过在合适的数据集上进行训练而获得。现在假设f∗f^*f∗是我们真正想要找到的函数，如果是f∗∈Ff^* \in \mathcal{F}f

根据上篇博客介绍李沐动手学深度学习V2-RNN循环神经网络原理， 来从头开始基于循环神经网络实现字符级语言模型，模型将在H.G.Wells的时光机器数据集上训练，首先读取数据集。2. 独热编码(one-hot encoding)在train_iter中，每个词元都表示为一个数字索引， 将这些索引直接输入神经网络可能会使学习变得困难，我们通常将每个词元表示为更具表现力的特征向量，最简单的表示称为独热

一. 实战Kaggle比赛：狗的品种识别（ImageNet Dogs）1. 介绍在这场比赛中，将识别120类不同品种的狗，这个数据集是ImageNet的数据集子集，与 CIFAR-10数据集中的图像不同， ImageNet数据集中的图像更高更宽，且尺寸不一。比赛网址：https://www.kaggle.com/c/dog-breed-identification比赛数据集分为训练集和测试集，分别

前面博文介绍了nnn元语法模型，其中单词xtx_txt​在时间步ttt的条件概率仅取决于前面n−1n-1n−1个单词。对于时间步t−(n−1)t-(n-1)t−(n−1)之前的单词，如果想将其可能产生的影响合并到xtx_txt​上，需要增加nnn，导致模型参数的数量也会随之呈指数增长，因为词表V\mathcal{V}V需要存储∣V∣n|\mathcal{V}|^n∣V∣n个数字，因此与其将P(xt

目标检测问题中使用方形边界框来标注和预测图像中的目标，而语义分割（semantic segmentation）问题，重点关注于如何将图像分割成属于不同语义类别的区域。 与目标检测不同，语义分割可以识别并理解图像中每一个像素的内容：其语义区域的标注和预测是像素级的。如下图所示展示了语义分割中图像有关狗、猫和背景的标签，与目标检测相比，语义分割标注的像素级的边框显然更加精细。计算机视觉领域还有2个与语