公开(公告)号：CN118748058A

公开(公告)日：2024-10-08

申请号：CN202410907131.1

申请日：2024-07-08

Applicant: 北方工业大学

Inventor： 王晶 ,  樊俊妍 ,  张艳珠 ,  史铭宇 ,  周萌 ,  王昶

IPC: G16H15/00 ,  G06N5/022 ,  G06V10/40 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明提供了一种基于知识图谱的眼科超声报告生成方法及系统，方法包括：S1：对样本的超声图像和诊断报告分别进行特征提取；S2：构建知识图谱，更新所述知识图谱的节点特征，将所述更新后的节点特征和图像特征融合，获取知识增强的图像特征；S3：基于记忆矩阵分别获取所述知识增强的图像特征、文本特征的跨模态对齐特征；S4：基于所述知识增强的图像特征的跨模态对齐特征、所述文本特征的跨模态对齐特征，通过编码器和解码器，输出超声报告文本；完成构建超声报告生成模型；S5：将超声图像输入所述模型，生成相应的超声报告。本发明解决了现有的医疗报告生成模型中缺乏考虑疾病关联性以及跨模态信息对齐的问题，有效提升了生成超声报告的质量。

公开(公告)号：CN117649916A

公开(公告)日：2024-03-05

申请号：CN202311536640.X

申请日：2023-11-17

Applicant: 北方工业大学

Inventor： 王晶 ,  樊俊妍 ,  张艳珠 ,  史铭宇 ,  周萌 ,  王昶

IPC: G16H15/00 ,  G06T11/60 ,  G06F40/18 ,  G06V30/148

Abstract: 本发明提供了一种眼科超声报告生成方法及系统，包括以下步骤：在眼部的超声图像中提取眼球部分的图像，形成图像文件；在超声报告单中提取文字部分，形成诊断报告文件；将同一超声检查的图像文件和诊断报告文件关联整合，形成同一超声数据文件；根据所述同一超声数据文件组建用于模型训练的数据集；通过所述数据集训练所述模型，并利用所述模型生成眼部超声图像的眼科超声报告。利用上述方法从大量的超声检查资料中将同一超声检查的图像文件、诊断报告文件相关联，组建数据集，用于模型的训练，以生成眼部超声图像的眼科超声报告。