摘要：癌症生存预测需要整合病理全切片图像 (WSI) 和基因组图谱，这是一项极具挑战性的任务，因为模型本身具有异质性，并且对模态间和模态内相互作用进行建模也十分复杂。当前的方法通常采用简单的融合策略进行多模态特征整合，无法全面捕捉模态特异性和模态共性相互作用，导致对多模态相关性的理解有限，预测性能也欠佳。为了弥补这些局限性，本文提出了一种多模态表征解耦网络 (MurreNet) 来推进癌症生存分析。具体而言，我们首先提出了一个多模态表征分解 (MRD) 模块，将成对的输入数据显式分解为模态特异性和模态共性表征，从而减少模态之间的冗余。此外，我们通过一种新颖的训练正则化策略进一步细化并更新解耦后的表征，该策略对模态特征的分布相似性、差异性和代表性施加了约束。最后，通过提出的深度整体正交融合 (DHOF) 策略，将增强的多模态特征集成到联合表示中。基于六个 TCGA 癌症队列进行的大量实验表明，我们的 MurreNet 在生存预测方面达到了最佳 (SOTA) 性能。这项工作被国际医学图像计算领域顶会MICCAI2025录用。
Mingxin Liu, Chengfei Cai, Jun Li, Pengbo Xu, Jinze Li, Jiquan Ma, and Jun Xu, MurreNet: Modeling Holistic Multimodal Interactions Between Histopathology and Genomic Profiles for Survival Prediction, MICCAI 2025: the 28th International Conference on Medical Image Computing and Computer Assisted Intervention, September 23-27, 2025.[Link to paper]
