多模式学习的最新进展显著改善了癌症生存风险预测。然而，蛋白质标记物和组织病理学图像联合预测预后的潜力仍未被充分发掘，这主要是由于蛋白质表达谱的高成本和可获得性有限。为了应对这一挑战，我们提出了HGP-Mamba，一个基于Mamba的多模式框架，它有效地整合了组织学和生成的蛋白质特征，用于生存风险预测。具体地说，我们引入了一个蛋白质特征提取程序(PFE)，它利用预先训练的基础模型直接从整个幻灯片图像

丘脑是大脑中的一个关键中继站，由多个核团组成，这些核团在各种大脑回路中发挥着至关重要的作用。确定这些核团对于了解丘脑结构如何影响认知功能至关重要。然而，遗传和环境因素在丘脑的分割模式中引入了很大的变异性，这给个性化的丘脑功能标测带来了挑战和机遇。本研究提出了一种迭代先验引导包裹(IPGP)框架来构建个性化丘脑包裹。IPGP方法利用Morel组织图谱作为先验指导，结合空间约束的局部扩散特征作为特征，

结构磁共振成像研究表明，大脑解剖异常与早产儿的认知障碍有关。大脑成熟度和几何特征可以与机器学习模型一起用于预测未来的神经发育缺陷。然而，传统的机器学习模型会受到很大的特征与实例比率的影响(即，大量的特征但少量的实例/样本)。集成学习是一种战略性地生成和集成机器学习分类器库的范例，并已成功地用于各种预测建模问题，以提高模型性能。属性(即特征)装袋方法是最常用的特征划分方法，它从整个特征集中随机、重复

医学数据集，尤其是生物样本库，通常包含丰富的表格数据，包含丰富的临床信息和图像。实际上，临床医生通常在多样性和规模上拥有较少的数据，但仍希望部署深度学习解决方案。结合医学数据集规模的增加和昂贵的注释成本，能够多模预训练和单模预测的无监督方法的需求日益增长。为满足这些需求，我们提出了首个利用图像和表格数据训练单模编码器的自监督对比学习框架。我们的解决方案结合了SimCLR和SCARF，这两种领先的对

目前大多数阿尔茨海默病(AD)和轻度认知障碍(MCI)研究使用单一数据模式来预测AD阶段。多个数据模式的融合可以提供AD分期分析的整体视图。因此，我们使用深度学习(DL)对成像(磁共振成像(MRI))、遗传(单核苷酸多态(SNPs))和临床测试数据进行综合分析，将患者分为AD、MCI和对照组(CN)。我们使用堆叠式去噪自动编码器从临床和遗传数据中提取特征，并使用3D卷积神经网络(CNN)来处理成像

传统的多模态多标签情绪识别（MMER）假设对视觉、文本和声学模态的完全访问。然而，现实中的多方环境常常违反这一假设，因为非说话者往往缺乏声学和文本输入，导致模型性能显著下降。现有方法也倾向于将异质模态统一为单一表示，忽视每个模态的独特特征。为应对这些挑战，我们提出了RAMer（基于重建的情绪识别对抗模型），它通过探索模态的共性和特异性，关键是利用重构特征，并通过对比学习增强，完善多模态表示，克服数

跨模态目标检测旨在融合来自不同模态的互补信息以提高模型性能，从而实现更广泛的应用。然而，传统的基于CNN或Transformer的跨模态融合方法不能很好地处理伪目标信息问题，导致模型注意力分散从而降低目标检测性能。在本文中，我们研究了一种新的跨模态融合方法，通过在隐藏状态空间中关联跨模态特征，基于改进的Mamba和门控注意力机制。我们提出了Fusion - Mamba Block ( FMB )，

理解衰老和复杂疾病需要多样化的数据，涵盖从分子画像到影像和常规临床检测。然而，大多数多组学数据集仅测量部分模态，且被批次效应所干扰。本文介绍AURORA（组学重组图谱的AI统一与重建），这是一个生成式深度学习平台，整合了七种模态（包括转录组学、代谢组学、微生物组、3D和热面部成像以及临床实验室检测），涵盖425,258个个体的581,763个样本。AURORA协调批次效应，重建不同模态缺失数据，实

医学图像中解剖结构和病理的分割对于现代疾病诊断、临床研究和治疗计划至关重要。尽管基于深度学习的分割技术取得了重大进展，但许多方法在数据效率、泛化性和交互性方面仍存在局限性。因此，开发需要更少标注数据集的稳健分割方法仍是医学图像分析中的一项关键挑战。近年来，基础模型如CLIP和Segment-Anything-Model（SAM）的引入，结合了强大的跨域表示，为交互式和通用图像分割开辟了道路。然而，

精神分裂症（SZ）是一种严重的精神疾病。本研究结合扩散张量成像（DTI）数据结合图神经网络，区分单纯的精神分裂症患者与正常对照组（NC），展示了整合分数各向异性和纤维数脑网络特征的图神经网络的优异性能，在区分单向异性患者与神经多样性方面达到了73.79%的准确率。超越单纯的区分， 我们的研究深入探讨了利用白质脑网络特征通过可解释的模型分析和基因表达分析识别SZ患者的优势。这些分析揭示了脑成像标志物