登录社区云，与社区用户共同成长
邀请您加入社区
©作者 | 奥本海默本文为大家带来 CVPR 2023 在图像融合领域的最新工作 CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition，作者是西安交通大学的赵子祥博士。本文的整体架构和赵博士先前在 IJCAI 上发表的 DIDFuse 有继承关系，这次的亮点是：结合 CNN 和当前火爆的 Transformer；将特征解耦的思想
多模态图像识别技术的调研
多模态机器学习是对计算机算法的研究，通过使用多模态数据集来学习和提高性能。多模式深度学习是一个机器学习子领域，旨在训练人工智能模型来处理和找到不同类型的数据（模式）之间的关系，通常是图像、视频、音频和文本。通过组合不同的模式，深度学习模型可以更普遍地理解其环境，因为一些线索只存在于某些模式中。想象一下情绪识别的任务。它不仅仅是看着人脸（视觉模态）。一个人的声音（音频模式）的音调和音高编码了大量关于
学习多模态的话题可以从深度学习的分类任务出发，因为分类任务是最直观的可以观察到不同模态的数据，通过输入数据到模型中，我们可以看到模型是如何学习到数据的特征向量的，同时分类任务的模型也是实现更复杂任务模型的基础。从分类任务中可以了解到图像、文本、语音在模型的特征向量是什么。以飞浆的多模态视频分类模型为例，这个模型基于真实的短视频业务数据，融合文本、视频图像、音频三种模态进行视频多模标签分类，相比只使
是多模态分类任务——也就是融合视觉和文本特征，并进行分类。这篇文章主要的亮点在于使用了类似于LSTM中的gate机制，提出了一种基于门控神经网络的多模态学习新模型。门控多模态单元 (GMU) 模型旨在用作神经网络架构中的内部单元，其目的是根据来自不同模态的数据的组合找到中间表示。GMU 学习使用乘法门来决定模态如何影响单元的激活。我们提出的模块基于门的想法，用于选择输入的哪些部分更有可能有助于正确
多模态预训练模型总结
多模态论文串讲笔记
多模态融合的主要目标是缩小模态间的异质性差异，同时保持各模态特定语义的完整性，并在深度学习模型中取得较优的性能。
CLIP模型解决了一个多模态问题代码地址：https://github.com/yyz159756/CLIP-VIT-
多模态学习可以聚合多源数据的信息，使得模型学习到的表示更加完备。潜表示空间的质量决定了多模态模型的效果，数据量达到一定规模，模态种类越完整，多模态模型的效果越好。
