-
公开(公告)号:CN119943252A
公开(公告)日:2025-05-06
申请号:CN202510119149.X
申请日:2025-01-24
Applicant: 西安电子科技大学
IPC: G16H15/00 , G16H30/40 , G06V10/774 , G06V10/764 , G06V10/80 , G06V10/74 , G06F40/289 , G06F40/284 , G06F40/186 , G06N3/0895 , G06N3/098 , G06N3/0464 , G06N3/0455 , G06N3/0442 , G06N3/0499 , G06F17/18
Abstract: 本发明公开了重建混合策略的三维医学图像视觉语言模型预训练方法,属于医学影像计算技术领域,包括构建医学图像文本对数据集,语言文本掩码重建策略,视觉图像掩码重建策略,语义感知融合策略,多任务联合学习;本发明对大语言模型进行微调,使用微调的大语言模型提取医学报告中的诊断及属性信息并生成高效的提示,并且大语言模型具有较强的泛化能力,大大节省了人工标注的成本;本发明的语义感知融合策略,是将文本编码器得到的文本特征和图像编码器得到的图像特征相结合得到新的文本特征,使文本提前感知图像的诊断及属性信息,进一步优化图像和文本在嵌入空间中的对齐,提升了预训练的效率。
-
公开(公告)号:CN119693641A
公开(公告)日:2025-03-25
申请号:CN202411727364.X
申请日:2024-11-28
Applicant: 西安电子科技大学
IPC: G06V10/26 , G06V10/82 , G06V10/774 , G06V10/52 , G06V10/80 , G06N3/0455 , G06N3/0464
Abstract: 本发明公开了一种基于上下文学习的三维医学影像多器官重建方法,解决了现有技术中模型域迁移的问题;该方法包括:获取待推理医学影像和图像支持集,并对待推理医学影像进行预处理,得到预处理待推理医学影像,并对图像支持集进行预处理,得到预处理支持集图像;将预处理待推理医学影像和预处理支持集图像输入至训练完成的上下文多器官分割网络中进行零样本推理,得到多个处理后图像;根据多个处理后图像进行后处理,得到多器官三维重建结果;该方法利用支持集提供的全局上下文信息实现了无需训练即可完成对下游域三维医学影像的多器官重建。
-