像这样的，查询、键和值来自同一组输入的注意力机制，被称为自注意力（self-attention）或者内部注意力（intra-attention）。总而言之，卷积神经网络和自注意力都拥有并行计算的优势，而且自注意力的最大路径长度最短。DETR中，为了保留特征的空间信息，没有将二维数据平铺为一维，而是分别对行和列进行位置编码。在自注意力机制中，词向量是不带位置信息的，也就是说，将词的顺序打乱，得到的输

像这样的，查询、键和值来自同一组输入的注意力机制，被称为自注意力（self-attention）或者内部注意力（intra-attention）。总而言之，卷积神经网络和自注意力都拥有并行计算的优势，而且自注意力的最大路径长度最短。DETR中，为了保留特征的空间信息，没有将二维数据平铺为一维，而是分别对行和列进行位置编码。在自注意力机制中，词向量是不带位置信息的，也就是说，将词的顺序打乱，得到的输

GPU性能的简单测试脚本（pytorch版）