公开(公告)号：CN118468996B

公开(公告)日：2024-09-27

申请号：CN202410942880.8

申请日：2024-07-15

Applicant: 中南大学

Inventor： 陈先来 ,  李陈鹏 ,  陈翔 ,  黄金彩 ,  安莹

IPC: G06N5/02 ,  G16H15/00 ,  G06N3/0455 ,  G06N3/0895

Abstract: 本发明实施例中提供了一种基于医学影像报告的多模态教学知识图谱构建方法，属于数据处理技术领域，具体包括：得到文本实体和关系；得到视觉特征，得到文本特征；利用线性层将视觉和文本特征映射到相同维度的特征空间，将映射后的特征拼接并加入一个可学习的嵌入；根据影像报告跨模态实体对齐模型对于真实标签预测损失的梯度反馈进一步迭代解剖标签生成器的参数；通过对比学习训练影像报告跨模态实体对齐模型；将学习到的嵌入输入训练好的影像报告跨模态实体对齐模型的预测模块，标记出影像图片中文本实体对应的视觉实体区域；根据视觉实体区域、文本实体和关系构建多模态知识图谱。通过本发明的方案，提高了构建效率、精准度和泛化性能。

公开(公告)号：CN118468996A

公开(公告)日：2024-08-09

申请号：CN202410942880.8

申请日：2024-07-15

Applicant: 中南大学

Inventor： 陈先来 ,  李陈鹏 ,  陈翔 ,  黄金彩 ,  安莹

IPC: G06N5/02 ,  G16H15/00 ,  G06N3/0455 ,  G06N3/0895

Abstract: 本发明实施例中提供了一种基于医学影像报告的多模态教学知识图谱构建方法，属于数据处理技术领域，具体包括：得到文本实体和关系；得到视觉特征，得到文本特征；利用线性层将视觉和文本特征映射到相同维度的特征空间，将映射后的特征拼接并加入一个可学习的嵌入；根据影像报告跨模态实体对齐模型对于真实标签预测损失的梯度反馈进一步迭代解剖标签生成器的参数；通过对比学习训练影像报告跨模态实体对齐模型；将学习到的嵌入输入训练好的影像报告跨模态实体对齐模型的预测模块，标记出影像图片中文本实体对应的视觉实体区域；根据视觉实体区域、文本实体和关系构建多模态知识图谱。通过本发明的方案，提高了构建效率、精准度和泛化性能。