我们在本文主要介绍Transformer中的输入Embedding及位置编码。Embedding是一种将离散的输入数据（如单词、字符等）转换为连续的向量表示的方法。由于计算机无法直接处理一个单词或者一个汉字，所以需要Embedding把一个token转化成计算机可以识别的向量。

ViT是谷歌团队在2021年3月发表的一篇论文，论文全称是《AN IMAGE IS WORTH 16X16 WORDS:TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE》一张图片分成16x16大小的区域：使用Transformer进行按比例的图像识别。ViT是VisonTransformer的缩写，通过将一张照片分割为不同的Patch输入到Transforme

VAE、VQVAE、VQGAN是图像生成方向的模型，他们之间的关系如下图所示。接下来对这AE、VAE、VQVAE、VQGAN进行介绍。

Transformer是一种很重要且强大的模型，如今网上介绍Transformer的文章很多，但是大都是只是介绍模型的结构，对于训练过程、推理过程模型的输入和输出都没有进行介绍，使人看的一头雾水，因为本文就Transformer的模型的训练和推理过程进行详细的介绍。

在本文中我们重点介绍Transformer中的掩码机制及多头自注意力模块的原理以及代码实现。掩码机制是Transformer中非常重要的一个部分，在模型结构图中的三个地方有用到掩码机制，如下图所示。Transformer中的掩码分为两种，分别是填充mask和因果mask。在下图中，1和2所在为位置为填充mask,3所在的位置为因果mask。