传统的多模态多标签情绪识别（MMER）假设对视觉、文本和声学模态的完全访问。然而，现实中的多方环境常常违反这一假设，因为非说话者往往缺乏声学和文本输入，导致模型性能显著下降。现有方法也倾向于将异质模态统一为单一表示，忽视每个模态的独特特征。为应对这些挑战，我们提出了RAMer（基于重建的情绪识别对抗模型），它通过探索模态的共性和特异性，关键是利用重构特征，并通过对比学习增强，完善多模态表示，克服数

跨模态目标检测旨在融合来自不同模态的互补信息以提高模型性能，从而实现更广泛的应用。然而，传统的基于CNN或Transformer的跨模态融合方法不能很好地处理伪目标信息问题，导致模型注意力分散从而降低目标检测性能。在本文中，我们研究了一种新的跨模态融合方法，通过在隐藏状态空间中关联跨模态特征，基于改进的Mamba和门控注意力机制。我们提出了Fusion - Mamba Block ( FMB )，

理解衰老和复杂疾病需要多样化的数据，涵盖从分子画像到影像和常规临床检测。然而，大多数多组学数据集仅测量部分模态，且被批次效应所干扰。本文介绍AURORA（组学重组图谱的AI统一与重建），这是一个生成式深度学习平台，整合了七种模态（包括转录组学、代谢组学、微生物组、3D和热面部成像以及临床实验室检测），涵盖425,258个个体的581,763个样本。AURORA协调批次效应，重建不同模态缺失数据，实

医学图像中解剖结构和病理的分割对于现代疾病诊断、临床研究和治疗计划至关重要。尽管基于深度学习的分割技术取得了重大进展，但许多方法在数据效率、泛化性和交互性方面仍存在局限性。因此，开发需要更少标注数据集的稳健分割方法仍是医学图像分析中的一项关键挑战。近年来，基础模型如CLIP和Segment-Anything-Model（SAM）的引入，结合了强大的跨域表示，为交互式和通用图像分割开辟了道路。然而，

精神分裂症（SZ）是一种严重的精神疾病。本研究结合扩散张量成像（DTI）数据结合图神经网络，区分单纯的精神分裂症患者与正常对照组（NC），展示了整合分数各向异性和纤维数脑网络特征的图神经网络的优异性能，在区分单向异性患者与神经多样性方面达到了73.79%的准确率。超越单纯的区分， 我们的研究深入探讨了利用白质脑网络特征通过可解释的模型分析和基因表达分析识别SZ患者的优势。这些分析揭示了脑成像标志物

生存预测对于指导癌症治疗和评估治疗效果至关重，肿瘤的异质性带来了准确预后的挑战。多模态学习整合了影像学、基因组学和临床记录的数据，为这一复杂任务提供了有前景的方法。虽然近期研究主要聚焦于影像和基因组数据，但反映患者整体健康的临床信息因其离散、稀疏且低维特性而未被充分利用。我们提出SurvPGC，这是一种结合病理图像、基因组数据和临床记录的综合模型，用于癌症预后。临床信息通过文本模板和基础模型转化为

表格数据可以说是金融、医疗和电子商务等多个实际领域中最常用的数据结构之一。然而，基于最近发布的一份表格基准测试，我们可以看到深度神经网络在表格数据集上仍落后于基于树的模型（Grinsztajn 等，2022）。本文提出了Trompt——即Tabular Prompt——一种受语言模型提示学习启发的新颖架构。提示学习的核心是通过一组外部提示调整大型预训练模型，而无需直接修改模型。基于这一思想，特罗姆

表格数据（或表格）是机器学习（ML）中最广泛使用的数据格式。然而，机器学习模型通常假设在训练和测试中表结构保持固定。在机器学习建模之前，需要大量数据清理以合并具有不同列的分散表。这种预处理常常会造成大量数据浪费（例如，移除未匹配的列和样本）。如何从多个部分重叠列的表格中学习机器学习模型？随着更多列的出现，如何逐步更新机器学习模型？我们能否在多个不同的表格上利用模型预训练？如何训练一个能够在未见表上

随着人工智能和数字医疗日益渗透医疗系统，健全的治理框架对于确保伦理、安全和有效的实施至关重要。在此背景下，医学图像检索成为临床数据管理的关键组成部分，在决策和保护患者信息中发挥着重要作用。现有方法通常通过瓶颈特征学习哈希函数，但这些特征无法从混合嵌入中生成代表性的哈希码。尽管对比哈希显示出更优的性能，当前方法常将图像检索视为分类任务，使用类别标签来创建正负对。此外，许多方法在模型遇到外部OOD查询

阿尔茨海默病（AD）是一种进行性脑部疾病，导致记忆力减退和认知能力下降，因此及时且可靠的诊断至关重要。仅依赖一种类型的数据，如脑部扫描或临床检测，往往只能提供部分疾病的视角。多模态数据分析通过结合多种医学成像技术（包括结构MRI、扩散张量成像和功能性MRI）的信息，更好地理解疾病及脑区变化。论文融合了多模态数据及其分析，采用基于尖峰神经网络（SNN）的框架NeuCube进行阿尔茨海默病的检测和分类