Vision Transformer (ViT) 结构简介

BLIP：该方法分别使用ViT和BERT进行图像和文本特征提取；提出使用image-text contrastive learning (ITC)损失、image-text matching (ITM)损失、Language Modeling (LM)损失进行模型优化；提出Captioning and Filtering (CapFilt)生成并过滤从网络上获取的图像-文本对。

ALBEF：该方法使用ViT进行图像特征提取，提出将BERT分两部分，一部分进行文本特征提取，另一部分进行图像-文本交互的特征提取；提出使用image-text contrastive learning损失、masked language modeling损失、image-text matching损失进行模型优化；提出Momentum Distillation策略以一个通过exponential

Grounding DINO：该方法融合了文本和图像两个模态的数据，实现了开放集目标检测，即给定一个文本提示，自动框出目标所在，该目标可以是训练集中没有的类别。该方法主要通过特征增强模块、语言指导查询选择模块、跨模态解码模块实现上述功能。

L1正则化能够通过使模型稀疏化达到降低模型复杂度的作用。这种稀疏化特性使它能够作为一种特征选择策略，适合在高维且特征相关性不强的场景中使用。L2正则化能够通过将各项权重系数优化的很小达到降低模型复杂度的目的。它能够减少单个特征的在模型中的作用，避免某个特征主导整个预测方向。L2正则化项是可微的，优化计算效率更高，适合处理低维且特征间具有强相关性的场景。

DETR：无proposal（R-CNN系列）、无anchor（YOLO系列）、无NMS的、端到端的目标检测方法。

Grounding DINO：该方法融合了文本和图像两个模态的数据，实现了开放集目标检测，即给定一个文本提示，自动框出目标所在，该目标可以是训练集中没有的类别。该方法主要通过特征增强模块、语言指导查询选择模块、跨模态解码模块实现上述功能。

Grounding DINO：该方法融合了文本和图像两个模态的数据，实现了开放集目标检测，即给定一个文本提示，自动框出目标所在，该目标可以是训练集中没有的类别。该方法主要通过特征增强模块、语言指导查询选择模块、跨模态解码模块实现上述功能。

DETR：无proposal（R-CNN系列）、无anchor（YOLO系列）、无NMS的、端到端的目标检测方法。

L1正则化能够通过使模型稀疏化达到降低模型复杂度的作用。这种稀疏化特性使它能够作为一种特征选择策略，适合在高维且特征相关性不强的场景中使用。L2正则化能够通过将各项权重系数优化的很小达到降低模型复杂度的目的。它能够减少单个特征的在模型中的作用，避免某个特征主导整个预测方向。L2正则化项是可微的，优化计算效率更高，适合处理低维且特征间具有强相关性的场景。