享元模式定义又叫蝇量模式，运用共享技术有效地支持大量细粒度对象的复用。系统只使用少量的对象，而这些对象都很相似，状态变化很小，可以实现对象的多次复用。由于享元模式要求能够共享的对象必须是细粒度对象，因此它又称为轻量级模式。对象结构型模式享元模式的设计一个关键的地方是先要区分内部状态和外部状态内部状态：存储在享元对象内部并且不会随环境改变而改变的状态，内部状态可以共享（例如：字符的内容）外部状态：随

主流的序列转换(sequence transduction)模型都是基于复杂的循环或卷积神经网络，这个模型包含一个编码器(encoder)和一个解码器(decoder)。具有最好性能的模型在编码和解码之间通过一个注意力机制链接编解码器。我们提出了一个新的简单网络架构——基于attention 的Transformer。其仅仅是基于注意力机制，而完全不需要之前的循环或卷积。在两个机器翻译任务上的实验

是一种基于对比文本-图像对的预训练方法。CLIP用文本作为监督信号来训练可迁移的视觉模型，使得最终模型的zero-shot效果堪比ResNet50，泛化性非常好。CLIP算是在跨模态训练无监督中的开创性工作，作者在开头梳理了现在vision上的训练方式，从有监督的训练，到弱监督训练，再到最终的无监督训练。这样训练的好处在于可以避免的有监督的 categorical label的限制，具有zero-

一个对象的状态或行为的变化将导致其他对象的状态或行为也发生改变，他们之间将产生联动。观察者模式1.定义了对象之间一种一对多的依赖关系，让一个对象的改变能够影响其他对象。2.发生改变的对象称为观察目标，被通知的对象成为观察者。3.一个观察目标可以对应多个观察者。别名：发布-订阅(Public/subscribe)模式,模型-视图(Model/View)模式,源-监听器(Source/Listener

学习！

在多模态学习之前都是Oscar或者Uniter等这些工作，他们的缺陷都是因为里面用了一个Object Detection的模型去做视觉特征的抽取，太慢且太贵了。所以在出来之后，ViLT的作者就想到可以把vision部分用Vision Transformer去代，就一个Embedding层，这样一来大大简化了模型结构。，是ICML21的工作）CLIP。

LSeg、GroupViT、ViLD、GLIP、GLIPv2、CLIPPasso、CLIP4Clip、Action CLIP

主流的序列转换(sequence transduction)模型都是基于复杂的循环或卷积神经网络，这个模型包含一个编码器(encoder)和一个解码器(decoder)。具有最好性能的模型在编码和解码之间通过一个注意力机制链接编解码器。我们提出了一个新的简单网络架构——基于attention 的Transformer。其仅仅是基于注意力机制，而完全不需要之前的循环或卷积。在两个机器翻译任务上的实验

是一种基于对比文本-图像对的预训练方法。CLIP用文本作为监督信号来训练可迁移的视觉模型，使得最终模型的zero-shot效果堪比ResNet50，泛化性非常好。CLIP算是在跨模态训练无监督中的开创性工作，作者在开头梳理了现在vision上的训练方式，从有监督的训练，到弱监督训练，再到最终的无监督训练。这样训练的好处在于可以避免的有监督的 categorical label的限制，具有zero-