Accelerate是 Hugging Face 公司开发的一个 Python 库，旨在简化并优化在各种环境中进行深度学习训练的过程，包括单机、多 GPU、TPU 和各种分布式训练环境。这个库提供了一种通用的 API，可以方便地将原来只能在单个设备上运行的代码扩展到多设备和分布式环境。在平常我们阅读源码或者编写训练流程的时候acceletate尤为重要.官方文档和教程。

结构相似指标可以衡量图片的失真程度，也可以衡量两张图片的相似程度。与MSE和PSNR衡量绝对误差不同，SSIM是感知模型，即更符合人眼的直观感受。取每一像素周边的8个像素点及其自身，flatten成一维向量进行计算相似度损失函数。（计算步骤较为复杂，可自行查阅资料）图像间结构性损失函数。

对比学习依赖于一个假设，即正对包含相关视图，例如，图像的补丁或视频的多模态信号，它们共享有关实例的某些基础信息。但是，如果这个假设被违反呢？文献表明，对比学习在存在嘈杂视图的情况下会产生次优表征，例如，没有明显共享信息的假阳性对。在这项工作中，我们提出了一种新的对比损失函数，该函数对嘈杂的视图具有鲁棒性。我们通过显示与噪声二元分类的鲁棒对称损失的联系，以及通过基于Wasserstein距离测量的互

但是因为p(x)作为边缘概率因为是联合概率积分且很难直接计算所以非常的棘手。可以直接通过求导来计算出最大化ELBO因为最终参数只有。可以理解为所观测到图片的类别等无法直接观测获得的隐藏变量。, 这里的例子较为简单,但是实际情况是无法计算出解析解的。求联合概率p(x,z)替代后验概率。所以可以大致推导出后验概率的趋势。： 在真实样本概率分布的条件下的。可以理解为观测到的图片样本。通过贝叶斯定理求后验

Accelerate是 Hugging Face 公司开发的一个 Python 库，旨在简化并优化在各种环境中进行深度学习训练的过程，包括单机、多 GPU、TPU 和各种分布式训练环境。这个库提供了一种通用的 API，可以方便地将原来只能在单个设备上运行的代码扩展到多设备和分布式环境。在平常我们阅读源码或者编写训练流程的时候acceletate尤为重要.官方文档和教程。

笔者最近学习多模态相关的论文，有些基础知识和模型再论文或者其他的文章中都体现的很复杂。但是台大李宏毅教授对这些知识的解释都很通俗，且非常清晰，因此这文章的是以他的视频为基础解释的。因为需要预测每张图片所对应的噪音，让噪音图片减去噪音来实现去噪才是模型训练的最终目的。前向传播的过程通过生成的噪音通过马尔科夫链给原始图片加噪，相当于是在。逆向传播的过程相当于借助训练好的模型。类似于形成语言和声音的模型