然后将关键点的学到的判别性特征聚合到具有多个感受野的RoI（感兴趣区域）-grid点上，以捕获更丰富的上下文信息，用于精细的提案精化。通常而言，基于网格的方法在计算上更为高效，但不可避免的信息损失降低了细粒度定位的准确性，而基于点的方法计算成本更高，但通过点集抽象[24]可以轻松实现更大的感受野。PV-RCNN的原则在于，基于体素的操作能够高效编码多尺度特征表示，并能生成高质量的3D提案，而基于P

创作不易，点赞收藏，谢谢！如有交流需要，请关注微信公众号“笔名二十七画生”！摘要YOLO已经成为机器人、无人驾驶汽车和视频监控应用中的中心实时目标检测系统。我们对YOLO的演变进行了全面分析，从原始的YOLO到YOLOv8、YOLO-NAS和带有Transformers的YOLO，检查了每个迭代中的创新和贡献。我们首先描述了标准指标和后处理方法；然后，我们讨论了每个模型的网络架构和训练技巧的主要变

与传统的自编码器不同，我们采用了一种不对称设计，允许编码器仅在部分观察到的信号（没有遮罩标记）上进行操作，并使用轻量级的解码器从潜在表示和遮罩标记中重构完整的信号。掩码自编码器的概念，是更一般的去噪自编码器的一种形式[58]，在计算机视觉中也是自然而适用的。然而，我们观察到（例如，图4），我们的遮罩自编码器推断出复杂而整体的重构，表明它已经学到了许多视觉概念，即语义。虽然在BERT中解码器可以是简

轻量化视觉大模型

CLIP是一种基于对比学习的多模态模型，与CV中的一些对比学习方法如moco和simclr不同的是，CLIP的训练数据是文本-图像对：一张图像和它对应的文本描述，这里希望通过对比学习，模型能够学习到文本-图像对的匹配关系。与其他自动编码器一样，本文的方法有一个编码器，可以提取掩码图像的隐藏表示，然后用于重建掩码区域的原始信号。虽然大多数基础模型都是为了有效地处理各种视觉任务的RGB图像而定制的，但

创作不易，点赞收藏，谢谢！如有交流需要，请关注微信公众号“笔名二十七画生”！摘要微调视觉模型在许多下游视觉任务中已被广泛证明具有很好的性能。随着预训练视觉基础模型的惊人发展，视觉微调跳出了标准的操作方式，即对整个预训练模型或仅对全连接层进行微调（目前绝大多数网络的操作是这样的，比如先在ImageNet数据集进行训练获得参数，然后去除全连接层迁移到下游任务比如目标检测与分割等进行微调）。相反，最近的

在使用预训练的ViT骨干的跨不同领域的24个下游识别任务中，VPT击败了所有其他迁移学习基线，甚至在20个案例中超越了全面微调，同时保持了对于每个个别任务存储显著较少参数（不到骨干参数的1%）的优势（图1(c)）。借鉴最近在NLP中关于Prompting的进展 [50,48,45,51]，我们提出了一种新的简单而高效的方法来适应下游视觉任务的Transformer模型（图1(b)），即Visual

与之前的固定类别集（通常由有限数量表示）相比，前述的文本查询具有代表广泛概念的优点，但也存在固有的不足之处，即描述细粒度不足 [4, 9, 32]。经验上，解决描述细粒度不足问题的一个简单解决方案是设计额外的文本描述，但存在三个明显的障碍：1）全面描述视觉细节很难 [52]，为大量类别构建文本描述是一项繁重的工作。在finetuning-free的设定下，MQ-Det对每个类别选用了5个视觉示例，

设计良好的子网采样空间对网络的训练至关重要，在我们进行探索的过程中发现网络深度和输入图像分辨率是影响模型性能的核心因素，网络宽度是模型运行占用显存的关键因素。用户在本地下游任务中，能提供的有标签数据十分有限，已有的开源数据集虽然包含的数据类别十分丰富，数量也十分庞大，但是相同类别的数据存在域间差异，比如漫画图片中的鸟和自然场景中的鸟存在很大差异，直接通过类别使用开源数据集，只会对用户本地下游任务产

创作不易，点赞收藏，谢谢！如有交流需要，请关注微信公众号“笔名二十七画生”！摘要微调视觉模型在许多下游视觉任务中已被广泛证明具有很好的性能。随着预训练视觉基础模型的惊人发展，视觉微调跳出了标准的操作方式，即对整个预训练模型或仅对全连接层进行微调（目前绝大多数网络的操作是这样的，比如先在ImageNet数据集进行训练获得参数，然后去除全连接层迁移到下游任务比如目标检测与分割等进行微调）。相反，最近的