An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale

https://arxiv.org/abs/2010.11929

ICLR 2021

​
图 1: 模型概述。 我们将图像分割成固定大小的补丁,对每个补丁进行线性嵌入,添加位置编码,并将所得的向量序列输入到标准的 Transformer 编码器中。 为了执行分类任务,我们采用了在序列中添加一个额外的可学习“分类Token”的标准方法。 Transformer编码器的示意图受到 Vaswani等人 (2017) 的启发。

仍旧看图理解文章

作者的做法是把图像进行切分,每一个切分的块进行线性排布,输入线性映射层,加上位置编码、分类头特殊token,然后把embedding结果输入Transformer块中,最后经过一个MLP进行分类识别。

输入图像 → 分块 (patch) → 展平 → 线性投影 (Patch Embedding) → 添加位置编码 → [CLS] token 拼接 → Transformer Encoder → MLP 分类头 → 输出类别

ViT

​

​

微调和高分辨率

​

更多推荐