具体来说，我们首先提出了一种新颖的密钥采样策略。对于每个查询点，我们以分层的方式对附近的点和远处的点进行稀疏采样，使模型能够扩大有效的接受域，以较低的计算成本享受远程上下文。此外，为了解决不规则点排列带来的挑战，我们提出了第一层点嵌入来聚合局部信息，这有助于收敛并提高性能。最后，引入了一种内存高效的实现来克服每个窗口中不同点数的问题。大量的实验证明了该方法在s3dis、scannetv2和shap

是一种的技术，其核心思想是将一个训练好的大型复杂模型（）的知识转移到一个结构更简单、参数更少的小型模型（）中。以下是知识蒸馏的一些主要方法：1. **基于响应的蒸馏（Response-based Knowledge Distillation）**：- 这是最基本的知识蒸馏方法，直接使用教师模型的softmax输出来指导学生模型的训练。这种方法主要的信息。例如，Hinton蒸馏方法就是使用教师模型的

如果说卷积层、池化层和激活函数等操作是将原始数据映射到隐层的话，全连接层则起到将学到的“分布式特征表示”映射到的作用。

指的是模型在处理输入序列时，能够根据序列中不同位置元素之间的相关性动态地调整对每个元素的关注程度，从而捕捉序列内部的复杂依赖关系。这种机制结合了卷积的局部感受野特性和自注意力的动态特征选择能力。：通过计算序列中不同位置元素之间的相关性得分，自注意力机制生成新的序列表示。：自注意力机制能够并行处理输入序列的元素，并直接关注输入序列中所有位置的元素，这使得模型具备了建模长距离依赖关系的能力。：最后，模

从所有位置收集上下文信息。同样，DANet（Fu et al.2018）、CCNet（Huang et al.2018）、EMAnet（Li et al.2019）和ANN（Zhu et al.2019）使用。

自监督学习是无监督学习的一种，也被称作。利用无标签数据通过设计来挖掘数据自身的表征特征作为监督信号，从而。

对于一个 n×n的实对称矩阵 A，如果对于所有非零向量 x∈Rn，都有： xTAx≥0则称A 是半正定的。如果 xTAx>0 对所有非零向量 x 成立，则 A 是正定的。

与在计算机视觉中使用自注意力的先前工作不同，除了初始补丁提取步骤之外，我们不会将特定于图像的归纳偏差引入架构中。最后，vit 的进一步缩放可能会导致性能的提高。当对大量数据进行预训练并转移到多个中小型或小型图像识别基准（Imagenet、cifar-100、vtab 等）时，与最先进的卷积网络相比，视觉转换器 (vit) 获得了出色的结果，同时需要更少的计算资源来训练。：将输入图像分割成固定大小的

在无参考评估中，我们不需要这样的参考图像或数据集来评估图像或数据的质量。无参考评估（NR-IQA）不需要使用参考图像（即没有原始或参考图像进行比较）。这种评估方法根据图像自身的特征和内容来评估图像的质量，而不是通过与一个已知高质量的参考图像进行比较，通常基于图像的。，如对比度、清晰度、颜色分布、纹理等，以及人类视觉系统的感知特性。这些方法可以是基于统计模型、机器学习模型或深度学习模型的。全参考、半

这里先用W1乘以z，就是一个全连接层操作， W1的维度是C/r * C，这个r是一个缩放参数，在文中取的是16，这个参数的目的是为了减少channel个数从而降低计算量。又因为z的维度是1*1*C，所以W1z的结果就是1*1*C/r；然后再经过一个ReLU层，输出的维度不变；然后再和W2相乘，和W2相乘也是一个全连接层的过程， W2的维度是C*C/r，因此输出的维度就是1*1*C；通过学习的方式来