公开(公告)号：CN119007914A

公开(公告)日：2024-11-22

申请号：CN202411257397.2

申请日：2024-09-09

Applicant: 中日友好医院(中日友好临床医学研究所) ,  北京信息科技大学

Inventor： 游文喆 ,  李婧 ,  宋文凤 ,  罗逸帆 ,  侯霞

IPC: G16H15/00 ,  G16H30/20 ,  G16H30/40 ,  G06V30/18 ,  G06V30/19

Abstract: 本发明公开了一种基于多模态数据融合的乳牙医学影像报告生成方法，属于口腔医学技术领域，所述方法包括：获取患者的乳牙医学图像；对所述乳牙医学图像进行特征提取，得到图像特征；利用预先学习好参数的记忆矩阵对所述图像特征和默认文本特征进行处理，得到带有记忆信息的图像特征和文本特征；将所述带有记忆信息的图像特征和文本特征输入预先训练好的encoder‑decoder模型，生成医学影像报告。本发明通过将图像和文本信息进行跨模态信息对齐，并结合encoder‑decoder模型生成医学影像报告，提高医学图像和文本之间的信息融合能力，从而为医学影像报告的自动生成提供更准确和全面的信息支持。