读取data_dir/x文件夹下对应的图片并经过data_transforms的转换1。

对比学习依赖于一个假设，即正对包含相关视图，例如，图像的补丁或视频的多模态信号，它们共享有关实例的某些基础信息。但是，如果这个假设被违反呢？文献表明，对比学习在存在嘈杂视图的情况下会产生次优表征，例如，没有明显共享信息的假阳性对。在这项工作中，我们提出了一种新的对比损失函数，该函数对嘈杂的视图具有鲁棒性。我们通过显示与噪声二元分类的鲁棒对称损失的联系，以及通过基于Wasserstein距离测量的互

但是因为p(x)作为边缘概率因为是联合概率积分且很难直接计算所以非常的棘手。可以直接通过求导来计算出最大化ELBO因为最终参数只有。可以理解为所观测到图片的类别等无法直接观测获得的隐藏变量。, 这里的例子较为简单,但是实际情况是无法计算出解析解的。求联合概率p(x,z)替代后验概率。所以可以大致推导出后验概率的趋势。： 在真实样本概率分布的条件下的。可以理解为观测到的图片样本。通过贝叶斯定理求后验

笔者最近学习多模态相关的论文，有些基础知识和模型再论文或者其他的文章中都体现的很复杂。但是台大李宏毅教授对这些知识的解释都很通俗，且非常清晰，因此这文章的是以他的视频为基础解释的。因为需要预测每张图片所对应的噪音，让噪音图片减去噪音来实现去噪才是模型训练的最终目的。前向传播的过程通过生成的噪音通过马尔科夫链给原始图片加噪，相当于是在。逆向传播的过程相当于借助训练好的模型。类似于形成语言和声音的模型