公开(公告)号：CN118736600A

公开(公告)日：2024-10-01

申请号：CN202410782832.7

申请日：2024-06-18

Applicant: 北京理工大学

Inventor： 赵山博 ,  叶初阳 ,  张美慧 ,  高鑫 ,  陈龙飞 ,  侯皓天 ,  武智强

IPC: G06V30/19 ,  G16H30/20

Abstract: 本发明涉及数据处理技术领域，具体涉及一种多粒度医学文本信息指导的3D多模态融合方法，包括：抽取3D影像与影像报告中的关键描述信息作为输入数据，进行编码从而获得输入数据对应的向量；基于KD进行细粒度层次的图像特征提取与聚合，得到切片层次特征；将基于粗粒度FT得到的切片重要性分数与所述切片层次特征进行相乘，得到最终的整体3D影像特征；融合所述整体3D影像特征、残差数据流特征与完整文本向量#imgabs0#得到用于分类的多模态特征，将所述多模态特征送入分类头中得到模型预测输出。本发明弥补了3D医学多模态方法中对文本利用的缺失，解决3D医学影像中存在的细粒度特征难以精准识别、粗粒度冗余难以有效解决的问题，方法设计上不局限于特定疾病。