公开(公告)号：CN117746201A

公开(公告)日：2024-03-22

申请号：CN202311850353.6

申请日：2023-12-29

Applicant: 桂林电子科技大学

Inventor： 潘细朋 ,  安娅君 ,  林欢 ,  杨辉华 ,  周南 ,  卞新军 ,  刘再毅

IPC: G06V10/80 ,  G06V10/766 ,  G06V10/25 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/084

Abstract: 本发明公开了一种基于交叉Transformer和MLIF的多模态融合生存预后方法，所述方法包括以下步骤：获取影像和病理切片数据集；对数据集进行预处理并标注感兴趣区域；对其进行手工特征提取；划分训练集和测试集；将所述影像组学特征和病理特征输入至预设的多模态融合模块进行二阶段的训练；其中，第一阶段的训练是采用交叉Transformer增强不同特征间的交互，利用多模态低秩交互融合模块(MLIF)将不同特征进行全面高效整合，生成多模态融合特征；第二阶段的训练是根据多模态融合特征，训练一个用于生存预后的回归网络，该网络的预测结果为最终结果。本发明通过端到端整合多模态数据揭示了不同模态数据之间的关联和互补性，提高了患者的治疗效果和生存率。