指的是模型在处理输入序列时，能够根据序列中不同位置元素之间的相关性动态地调整对每个元素的关注程度，从而捕捉序列内部的复杂依赖关系。这种机制结合了卷积的局部感受野特性和自注意力的动态特征选择能力。：通过计算序列中不同位置元素之间的相关性得分，自注意力机制生成新的序列表示。：自注意力机制能够并行处理输入序列的元素，并直接关注输入序列中所有位置的元素，这使得模型具备了建模长距离依赖关系的能力。：最后，模

从所有位置收集上下文信息。同样，DANet（Fu et al.2018）、CCNet（Huang et al.2018）、EMAnet（Li et al.2019）和ANN（Zhu et al.2019）使用。

自监督学习是无监督学习的一种，也被称作。利用无标签数据通过设计来挖掘数据自身的表征特征作为监督信号，从而。

对于一个 n×n的实对称矩阵 A，如果对于所有非零向量 x∈Rn，都有： xTAx≥0则称A 是半正定的。如果 xTAx>0 对所有非零向量 x 成立，则 A 是正定的。

与在计算机视觉中使用自注意力的先前工作不同，除了初始补丁提取步骤之外，我们不会将特定于图像的归纳偏差引入架构中。最后，vit 的进一步缩放可能会导致性能的提高。当对大量数据进行预训练并转移到多个中小型或小型图像识别基准（Imagenet、cifar-100、vtab 等）时，与最先进的卷积网络相比，视觉转换器 (vit) 获得了出色的结果，同时需要更少的计算资源来训练。：将输入图像分割成固定大小的

在无参考评估中，我们不需要这样的参考图像或数据集来评估图像或数据的质量。无参考评估（NR-IQA）不需要使用参考图像（即没有原始或参考图像进行比较）。这种评估方法根据图像自身的特征和内容来评估图像的质量，而不是通过与一个已知高质量的参考图像进行比较，通常基于图像的。，如对比度、清晰度、颜色分布、纹理等，以及人类视觉系统的感知特性。这些方法可以是基于统计模型、机器学习模型或深度学习模型的。全参考、半

这里先用W1乘以z，就是一个全连接层操作， W1的维度是C/r * C，这个r是一个缩放参数，在文中取的是16，这个参数的目的是为了减少channel个数从而降低计算量。又因为z的维度是1*1*C，所以W1z的结果就是1*1*C/r；然后再经过一个ReLU层，输出的维度不变；然后再和W2相乘，和W2相乘也是一个全连接层的过程， W2的维度是C*C/r，因此输出的维度就是1*1*C；通过学习的方式来

总结来说，位置嵌入主要用于序列数据处理，提供序列中元素的位置信息，而点嵌入则用于点云数据处理，将点的位置信息编码为向量形式，以便于神经网络的处理和分析。- 点嵌入可以是可学习的，也可以是非参数的。绝对位置编码通过正弦和余弦函数的不同频率来计算位置编码，而相对位置编码则考虑了位置之间的相对距离。- 在点云处理中，点嵌入用于将原始的三维点云数据转换为可以被神经网络处理的特征向量，这些特征向量可以用于后

它包括一个中心单元和围绕它的八个单元，即所有与中心单元正交或对角相邻的单元。这种邻域结构是以Edward F. Moore的名字命名的，他是细胞自动机理论的先驱之一。Moore Neighborhood（摩尔邻域）是在。

它通常由一个RGB图像和一个与之对应的深度图像组成，这两个图像的尺寸相同，每个像素点都对应一个深度值（通常是距离相机的距离）。点云数据是由一组在三维空间中的点组成的数据集，每个点包含其在空间中的坐标（通常是x、y、z坐标）以及可能的其他信息（如颜色、强度等）。总的来说，RGB-D图像和点云数据都是处理三维信息的重要工具，它们各有优势和适用场景。- **颜色信息**：如果点云数据包含颜色信息，每个点