DeiT 是一个全 Transformer 的架构。其核心是提出了针对 ViT 的教师-学生蒸馏训练策略，并提出了 token-based distillation 方法，使得 Transformer 在视觉领域训练得又快又好。

SiamFC算法学习笔记

论文地址：https://arxiv.org/pdf/2207.09603。

主要讲述目前大部分深度学习算法无法达到高速和准确同时兼顾，本文的SiamRPN利用大量训练图片实现端对端的离线训练，通过孪生网络进行特征提取，RPN网络进行分类和回归操作。在实际跟踪阶段，可以视为单样本目标检测过程（one-shot detection），我们可以预先计算Siamese子网络的模板分支，并将相关层表示为琐屑卷积层来进行在线跟踪。通过改进方案，可以摒弃传统的多尺度测试和在线微调。

本文主要介绍了基于Transformer的单目标跟踪方法，对这些方法进行了分类、分析、评估和比较，并提出了未来的研究方向。具体来说，本文介绍了Transformer的基本原理和相关知识，然后介绍了基于CNN-Transformer、One-stream One-stage fully-Transformer、Two-stream Two-stage fully-Transformer等不同架构的跟