[论文阅读]An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
·
An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
https://arxiv.org/abs/2010.11929
ICLR 2021
仍旧看图理解文章
作者的做法是把图像进行切分,每一个切分的块进行线性排布,输入线性映射层,加上位置编码、分类头特殊token,然后把embedding结果输入Transformer块中,最后经过一个MLP进行分类识别。
输入图像 → 分块 (patch) → 展平 → 线性投影 (Patch Embedding) → 添加位置编码 → [CLS] token 拼接 → Transformer Encoder → MLP 分类头 → 输出类别
ViT
微调和高分辨率
更多推荐


所有评论(0)