队列（样本不用做梯度回传），移动平均编码器（字典里特征尽量保持一致，训练过程中发现很大一致的字典对无监督对比学习有好处））linear protocol：骨干网络预训练好了，用到其他数据集时backbone freeze，只学FC层，间接证明特征提取的好不好全面的在视觉领域比有监督好。

代理任务：Instance Discrimination, predictive, multi-view, multi-modal目标函数：NCE, InfoNCE, 和其他变体一个 encoder + memory bank (Inst Disc);一个 encoder (Invariant Spread);一个 encoder + 一个 auto regressive (CPC);多个 enc

图来源：BV1AM4y187yR本文的框架是在pytorch/tensorflow等框架上进一步的封装。

图来源：BV1AM4y187yR本文的框架是在pytorch/tensorflow等框架上进一步的封装。

图来源：BV1AM4y187yR本文的框架是在pytorch/tensorflow等框架上进一步的封装。

双向若监督知识蒸馏WSI分类。

朱老师画的多模态近期脉络FLIP论文：CLIP基础上用了MAE思想，没mask的当作token，减少序列长度，值得看MetaLM PaLi做什么由prompt决定，调整prompt决定任务调整输出其他：Unified IO Uniperceiver1，2，uniperceiverMOE。

UserWarning: Was asked to gather along dimension 0, but all input tensors were scalars;will instead unsqueeze and return a vector.

Adobe Illustrator没法直接输入latex公式，也没有公式的字体。