公开(公告)号：CN117198497A

公开(公告)日：2023-12-08

申请号：CN202210578833.0

申请日：2022-05-26

Applicant: 中国石油大学(华东)

Inventor： 张俊三 ,  程铭 ,  沈秀轩 ,  徐晨阳 ,  肖森 ,  高慧

IPC: G16H50/00 ,  G16H30/20 ,  G06V10/44 ,  G06V10/42 ,  G06V10/77 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/0455 ,  G06N3/096 ,  G06N3/084

Abstract: 本发明公开了基于双分支特征融合的医学报告生成方法。传统医学影像报告自动生成方法通常仅使用卷积神经网络提取图像特征，注重局部细节却无法较好捕获全局关系。因此本发明首次提出一种基于双分支特征融合的医学影像报告生成方法(Dual‑BranchFeatureFusionNetworkforMedicalReportGeneration,DBFFN)，结合Transformer与卷积神经网络的优势提取医学图像的全局特征和局部特征，捕获全局关系的同时关注局部细微语义信息。并设计多尺度特征融合模块(Multi‑ScaleFeatureFusionModule,MSFFM)，用于对齐图像特征并融合语义信息。本发明在IU‑X‑Ray数据集上的大量实验证明了我们所提出的DBFFN模型和MSFFM融合模块的有效性。

公开(公告)号：CN117373601A

公开(公告)日：2024-01-09

申请号：CN202210767524.8

申请日：2022-07-01

Applicant: 中国石油大学(华东)

Inventor： 张俊三 ,  沈秀轩 ,  程铭 ,  肖森 ,  徐晨阳 ,  高慧

IPC: G16H15/00 ,  G16H30/40 ,  G06T11/60

Abstract: 本发明公开了一种基于信息校正Transformer的医学影像报告自动生成方法。医学影像报告自动生成任务对医学知识的需求可以通过注入预先设定的外部信息来完成。但是，这样一方面会大幅增加模型的参数，提高深度学习模型训练的难度；另一方面，信息融合的方式缺乏灵活性，被注入的外部信息难以得到合理利用。为了解决这些问题，本发明首次提出了基于信息校正Transformer的医学影像报告自动生成方法。设计前驱信息增强模块自动挖掘影像报告数据集中包含的医学知识，将其作为辅助信息融合到解码器中进行信息校正，在无需外部信息注入且模型复杂度增长微小的前提下注入了医学知识，提高了生成的医学影像报告的质量。在IU‑X‑RAY、MIMIC‑CXR和COV‑CTR数据集上的大量实验验证了本发明的有效性。