公开(公告)号：CN118427776A

公开(公告)日：2024-08-02

申请号：CN202410638315.2

申请日：2024-05-22

Applicant: 海南大学

Inventor： 欧嵬 ,  张琼露 ,  张思源 ,  金辉 ,  朱家敏 ,  盛云灿 ,  武艺珊 ,  韩文报

IPC: G06F18/25 ,  G06F18/24 ,  G06V10/80 ,  G06V10/40 ,  G06N3/042 ,  G06N3/0464 ,  G16H10/60 ,  G06V10/82

Abstract: 本发明涉及数据处理技术领域，尤其涉及一种智能医疗多模态融合方法及系统，该方法包括以下步骤：S10，根据每个患者的医疗图像和电子病历文本，分别获得该患者对应的图像特征、文本特征和诊断关键词编码，并将图像特征和文本特征融合得到图像文本特征；S20，将一个患者对应的所述图像文本特征作为一个节点的特征，所述诊断关键词编码作为节点之间的连边的特征，以此来构建图卷积网络模型；S30，针对于所述图卷积网络模型中的每个节点，将自身的图像文本特征与邻居节点的图像文本特征进行融合。通过本发明方法可以利用多模态信息之间的关联性，使得融合后的特征表示更加准确，继而为更准确地得出疾病分类提供技术支持。

公开(公告)号：CN118427776B

公开(公告)日：2025-02-11

申请号：CN202410638315.2

申请日：2024-05-22

Applicant: 海南大学

Inventor： 欧嵬 ,  张琼露 ,  张思源 ,  金辉 ,  朱家敏 ,  盛云灿 ,  武艺珊 ,  韩文报

IPC: G06F18/25 ,  G06F18/24 ,  G06V10/80 ,  G06V10/40 ,  G06N3/042 ,  G06N3/0464 ,  G16H10/60 ,  G06V10/82

Abstract: 本发明涉及数据处理技术领域，尤其涉及一种智能医疗多模态融合方法及系统，该方法包括以下步骤：S10，根据每个患者的医疗图像和电子病历文本，分别获得该患者对应的图像特征、文本特征和诊断关键词编码，并将图像特征和文本特征融合得到图像文本特征；S20，将一个患者对应的所述图像文本特征作为一个节点的特征，所述诊断关键词编码作为节点之间的连边的特征，以此来构建图卷积网络模型；S30，针对于所述图卷积网络模型中的每个节点，将自身的图像文本特征与邻居节点的图像文本特征进行融合。通过本发明方法可以利用多模态信息之间的关联性，使得融合后的特征表示更加准确，继而为更准确地得出疾病分类提供技术支持。