
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
多模态数据对齐的数学原理
总而言之,多模态数据对齐的核心是通过**对比学习**或**生成学习**,将不同模态的数据映射到一个**共享的语义空间**中,并用**InfoNCE**等损失函数来优化模型,使其在该空间中相关的数据点靠近,不相关的数据点远离。***代表模型**:**Stable Diffusion**, **DALL-E** (部分)。未来方向包括开发更高效的**自监督**和**弱监督**学习方法。***损失函数*
到底了







