公开(公告)号：CN119323583A

公开(公告)日：2025-01-17

申请号：CN202411432181.5

申请日：2024-10-14

Applicant: 成都信息工程大学

Inventor： 郑文斌 ,  王彩莲 ,  张海清

IPC: G06T7/11 ,  G06T7/00 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/0499

Abstract: 本发明公开了基于稀疏注意力机制的多模态脑肿瘤图像分割系统，涉及医学图像处理技术领域，所述系统包括获取数据单元：用于获取多模态脑肿瘤数据，对所述多模态脑肿瘤数据进行预处理获得多模态数据；特征提取单元：用于基于第一编码器，提取所述多模态数据中每个模态的第一特定特征Fm；特征融合单元：用于基于所述第一特定特征Fm和第一融合令牌Ff，获得第一特征f1；基于模态稀疏掩码融合Transformer模型，对所述第一特征f1进行交互，获得第二特征Z，基于所述第二特征Z，提取每个模态的权重IMm，基于所述权重IMm获得第三特征#imgabs0#基于空间维度，将所述第三特征#imgabs1#进行整形获得第四特征#imgabs2#预测单元：用于将所述第四特征#imgabs3#输入脑肿瘤分割模型获得第一损失L1，基于所述第一损失L1获得预测分割结果，可以解决现有基于共享特征表示的分割方式对脑肿瘤信息不敏感以及缺失模态时脑肿瘤特征融合出现信息冗余和忽略重要脑肿瘤信息的问题。