医疗行业产生了大量未标记的生理数据。这些数据可以通过对比学习加以利用。对比学习是一种自监督的预训练方法，鼓励实例表示之间的彼此相似。我们提出了一系列对比学习方法，即CLOCS，鼓励跨空间、时间和患者的表示彼此相似。我们发现，当对下游任务进行线性评估和微调时，CLOCS的性能始终优于SOTA方法BYOL和SimCLR。我们还发现，在只有25%的标记训练数据的情况下，CLOCS实现了较强的泛化性能。此

原文：ZhangY,JiangH,MiuraY,etal.Contrastivelearningofmedicalvisualrepresentationsfrompairedimagesandtext[J].arXivpreprintarXiv:2010.00747,2020.1.Abstract医学图像的视觉表示学习是医学图像理解的核心，但由于手工标记数据集的规模较小，其研究进展受到了阻碍。现

虽然Transformer架构已经成为NLP任务事实上的标准，但其在计算机视觉中的应用仍然有限。在计算机视觉中，注意力机制要么与卷积网络结合使用，要么用来替换卷积网络的某些组件，同时保持其整体结构不变。我们的研究表明，这种对CNN的依赖是不必要的，直接应用于图像补丁序列的纯Transformer可以很好地执行图像分类任务。当在大量数据上进行预训练并迁移到多个中小型图像识别基准任务时，我们提出的Vi

原文：Zhou,Kaiyang,JingkangYang,ChenChangeLoyandZiweiLiu.“LearningtoPromptforVision-LanguageModels.”ArXivabs/2109.01134(2021).1.Abstract视觉语言预训练是一种很有前途的表示学习方法。它从传统的使用图像和标签来学习一组固定的权重(视觉概念)，转变为为两个独立的编码器对齐图像

在视觉语言任务中，学习“图像-文本对”跨模态表示的大规模预训练方法越来越流行。而现有方法只是简单地将图像区域特征和文本特征串联起来输入模型进行预训练，并简单粗暴地利用self-attention来学习图像-文本的语义对齐。作者观察到，图像中的显著对象能被准确检测出来，并且在配对的文本中经常被提及。因此，作者提出了一种新的学习方法Oscar，它用图像中检测到的对象标签作为锚点，大大简化了对齐学习。作

本文系统地研究了半监督目标检测中的三种不一致问题，即匹配不一致、分类-回归子任务不一致和时间不一致。为了缓解上述挑战，我们提出了一种简单有效的半监督目标检测器，称为Consistent-Teacher。我们引入了Consistentanchorassignment和FAM方法，使分类和回归任务保持一致。我们利用高斯混合模型(GMM)动态调整自训练阈值，以解决时间不一致的问题。Consistent-

我们提出了DETR，这是一种基于Transformer和直接集合预测二分图匹配损失的目标检测系统。该方法在COCO数据集上实现了与Faster R-CNN基线相当的结果。DETR易于实现，具有灵活的架构，可以轻松扩展到全景分割任务上，并且取得了具有竞争力的结果。此外，与Faster R-CNN相比，DETR在大物体上的性能明显更好，这可能要归功于自注意力对全局信息的处理。这种新的架构也带来了新的挑

在本文中，我们提出了一种强大的端到端Transformer检测器DINO，借助contrastive denoising training、mixed query selection、look forward twice方法，大大提高了模型的训练效率和检测性能。我们进一步尝试在更大的数据集上用更强的骨干网络训练DINO，并在COCO 2017 test-dev数据集上达到了新的SOTA水平，63.

原文：He,Kaiming,XinleiChen,SainingXie,YanghaoLi,PiotrDoll'arandRossB.Girshick.“MaskedAutoencodersAreScalableVisionLearners.”ArXivabs/2111.06377(2021).1.Abstract本文证明了掩码自编码器(MAE)是一种可扩展的计算机视觉自监督学习方法。我们的MAE

在本文中，我们提出了一种强大的端到端Transformer检测器DINO，借助contrastive denoising training、mixed query selection、look forward twice方法，大大提高了模型的训练效率和检测性能。我们进一步尝试在更大的数据集上用更强的骨干网络训练DINO，并在COCO 2017 test-dev数据集上达到了新的SOTA水平，63.