本次继续分享时空数据相关的论文。上一期戳这里↓：时空预测方向最新研究成果汇总，附13篇必看顶会论文在刚刚过去的2023年间，我们不仅在时空数据领域的传统任务上取得了许多不错的进展，很多研究者们也在一些新的研究方向发表了值得我们学习的成果。对于想发论文的我们来说，研读这些高分论文，我们能更轻松地找到灵感，站在大佬们的肩膀上获得属于自己的论文创新点。所以我这次就又总结了，主题涉及多模态、扩散模型等研究

今天盘点了 ICLR 2024 顶会中有关多模态融合领域的最新研究成果，共22篇，方便同学们更高效地了解最新的融合方法、快速获得论文创新点的启发。论文主要涉及大模型+多模态融合、自动选择和构建模态、视觉Transformer的3D对象检测、动态多模态融合的深度平衡、基于Transformer的系统融合方法等热门主题。论文和代码需要的同学看文末。

还在搞传统的？不如考虑。优势在于能融合不同模态的特征信息，实现模型理解、预测和决策能力的大幅提升，可以帮助我们开发出拥有更高性能的智能算法和模型，近期的不少一区顶刊上陆续发表了相关研究，热度可见。不过深度学习+多模态数据融合仍然处于快速发展期，数据异构性、模态缺失等问题尚未解决，还是有创新空间的，尤其在解决实际挑战或提出新型融合架构方面。在未来更复杂场景下，显然这类多模态融合技术将成为核心支撑，且

最近看见不少关于的讨论，确实这方向算是当前AI研究的前沿焦点之一，非常热门。不过如今关于CLIP的研究已经相当成熟，如果想以此发论文，单纯的复现或简单应用显然是不够的，推荐大家往深层次问题、拓展应用边界、提升模型效率等方面考虑，机会更多。我根据最新的研究进展给大家分享几个有潜力的创新方向，每个方向我都配上了相应的，方便大家理解并用作baseline参考。全部论文+开源代码需要的同学看文末。

目前在自动驾驶领域，多模态3D目标检测是一个非常重要的研究热点。由于引入了其他传感器数据，多模态3D目标检测在性能上明显优于纯视觉的方案，可以同时预测周围物体的类别、位置和大小，因此对于自动驾驶领域的同学来说，多模态3D目标检测是必须要掌握的部分。今天要和大家分享的论文正是多模态3D目标检测方向，研究自动驾驶的同学必看！目前共汇总了21篇最新论文，来看看大佬们都有哪些成果吧！

近期多模态可谓是大热门，与之相关的自然也不例外，而且已经出现了很多顶会成果，比如最新的多模态遥感图像分类方法LDS2AE，实现了高达99.53%分类准确率。这种方法通过整合多种类型的数据，显著提高了数据分析的精度和可靠性，对比传统的遥感图像处理方法，能给我们提供更全面、准确的信息，因此多模态遥感图像处理拥有更广阔的应用空间，对如今遥感技术的改进与创新也非常重要，是个很值得研究的方向。这里为了帮助大

现有关于多模态融合的研究多集中在模型性能的提升上，对可解释的探索比较少。但实际上，可解释性是提升用户信任、优化模型决策的关键，具有重要的研究价值，符合当前学术界对透明AI的迫切需求。因此，想要在多模态领域拥有成果，是个很好的选择。中山六院团队的可解释多模态融合模型Brim，以及Nature子刊上的可解释纵向多模态融合模型，都是近期非常值得参考的研究，推荐感兴趣的论文er研读。我另外还准备了，方便找

华科大最新提出Coupled Mamba，利用耦合的状态空间模型来增强不同模态之间的信息融合，实现了49%的推理提速，减少了83.7%的GPU内存占用。这类方法利用了Mamba独特的结构设计和算法优化，能更有效地提取和融合不同模态的特征信息，从而提高系统的整体性能和处理效率。也正因它的，这种结合策略成为了多模态数据处理的重要方法，在解决图像融合、语义分割、目标检测等任务方面给我们目前已有多个最新成

SAM自推出以来，已经广泛应用于CV各任务，各种创新层出不穷。到了2025年，SAM仍然有相当大的优化空间，尤其是通过结合多模态图像融合，可以进一步提高分割精度和效率，增强适应性，大幅拓宽应用场景。对论文er来说，这也意味着创新空间更大了。目前在CVPR、IJCAI等顶会上已经出现了不少相关成果，比如性能超越SOTA的SAGE方法、鲁棒多模态3D目标检测框架RoboFusion。感兴趣的论文er抓

有人问可解释的多模态融合到底是不是坑？答曰：卷，但机会犹存。根据CVPR 2025投稿数据，多模态+可解释是三大热门之一，而工业界也同样渴求可解释性...因此这方向可以说需求爆炸，痛点深重，还是很值得卷一卷的。不过对于论文er来说，目前纯刷榜的“可解释后处理”已经越来越难中了，必须把可解释性设计进模型底层。也就是说，发文思路推荐：架构创新 > 垂直应用 > 后处理工具。创新点可着力关系推理、具身解