点击查看原文，可以跳转到新闻的36氪链接。

生物和医学检查方法的快速发展极大地扩展了个人生物医学信息，包括分子、细胞、图像和电子健康记录数据集。整合这些丰富的信息，使得临床环境中能够精确诊断疾病、识别生物标志物和治疗设计。人工智能（AI）技术，尤其是深度学习模型，已被广泛应用于生物医学应用，展示了更高的精度、效率和泛化性。大型语言和视觉模型的成功进一步显著扩展了其生物医学应用。然而，学习这些多模态生物医学数据集（如数据隐私、融合和模型解释）

跨模态目标检测旨在融合来自不同模态的互补信息以提高模型性能，从而实现更广泛的应用。然而，传统的基于CNN或Transformer的跨模态融合方法不能很好地处理伪目标信息问题，导致模型注意力分散从而降低目标检测性能。在本文中，我们研究了一种新的跨模态融合方法，通过在隐藏状态空间中关联跨模态特征，基于改进的Mamba和门控注意力机制。我们提出了Fusion - Mamba Block ( FMB )，

生存预测对于指导癌症治疗和评估治疗效果至关重，肿瘤的异质性带来了准确预后的挑战。多模态学习整合了影像学、基因组学和临床记录的数据，为这一复杂任务提供了有前景的方法。虽然近期研究主要聚焦于影像和基因组数据，但反映患者整体健康的临床信息因其离散、稀疏且低维特性而未被充分利用。我们提出SurvPGC，这是一种结合病理图像、基因组数据和临床记录的综合模型，用于癌症预后。临床信息通过文本模板和基础模型转化为

医学图像中解剖结构和病理的分割对于现代疾病诊断、临床研究和治疗计划至关重要。尽管基于深度学习的分割技术取得了重大进展，但许多方法在数据效率、泛化性和交互性方面仍存在局限性。因此，开发需要更少标注数据集的稳健分割方法仍是医学图像分析中的一项关键挑战。近年来，基础模型如CLIP和Segment-Anything-Model（SAM）的引入，结合了强大的跨域表示，为交互式和通用图像分割开辟了道路。然而，

精确肿瘤学在解释复杂的细胞信号和预测跨异质癌症环境的药物反应方面面临着关键挑战。在这里，我们提出了BioGDR，一个多模态可解释的深度学习框架，它集成了基于结构的预测生物特征差异基因表达和激酶抑制谱，消除了对实验测量的需要。通过通过路径信息图形神经网络对肿瘤转录状态进行建模，并采用药物引导的注意策略，BioGDR能够对化合物和细胞环境中的药物敏感性进行机械性的洞察。

多模态学习在不完全模态条件下既实用又具有挑战性。近年来，研究人员专注于通过应用可学习提示，增强预训练多模态变换器（MMT）在缺失模态条件下的鲁棒性。然而，这些基于提示的方法面临若干局限：（1）不完全模态为任务特定推理提供了有限的模态线索，（2）缺失内容的虚拟插补会导致信息丢失并引入噪声，（3）静态提示具有实例无关性，对各种缺失条件的实例提供有限的知识。为解决这些问题，我们提出了RAGPT，一种新型

现有异常检测方法通常将模态和类别视为独立因素。尽管这一范式丰富了AD研究分支的发展并产生了许多专门模型，但也导致了解决方案的碎片化和过高的内存开销。此外，基于重建的多类方法通常依赖共享译码路径，这在处理跨域的大变异时难以应对，导致正常边界失真、域干扰和高误报率。为解决这些局限性，我们提出了UniMMAD，一个多模态和多类别异常检测的统一框架。UniMMAD 的核心是基于专家混合（MoE）驱动的功能

多模式学习的最新进展显著改善了癌症生存风险预测。然而，蛋白质标记物和组织病理学图像联合预测预后的潜力仍未被充分发掘，这主要是由于蛋白质表达谱的高成本和可获得性有限。为了应对这一挑战，我们提出了HGP-Mamba，一个基于Mamba的多模式框架，它有效地整合了组织学和生成的蛋白质特征，用于生存风险预测。具体地说，我们引入了一个蛋白质特征提取程序(PFE)，它利用预先训练的基础模型直接从整个幻灯片图像

丘脑是大脑中的一个关键中继站，由多个核团组成，这些核团在各种大脑回路中发挥着至关重要的作用。确定这些核团对于了解丘脑结构如何影响认知功能至关重要。然而，遗传和环境因素在丘脑的分割模式中引入了很大的变异性，这给个性化的丘脑功能标测带来了挑战和机遇。本研究提出了一种迭代先验引导包裹(IPGP)框架来构建个性化丘脑包裹。IPGP方法利用Morel组织图谱作为先验指导，结合空间约束的局部扩散特征作为特征，