公开(公告)号：CN116680343A

公开(公告)日：2023-09-01

申请号：CN202310641906.0

申请日：2023-06-01

Applicant: 北京理工大学

Inventor： 田紫暄 ,  金福生 ,  徐源 ,  袁野 ,  王国仁

IPC: G06F16/28 ,  G06N5/02 ,  G06F18/25 ,  G06F18/214 ,  G06V10/40 ,  G06V10/82 ,  G06V10/74 ,  G06F40/279 ,  G06N3/0499 ,  G06N3/0455

Abstract: 本发明涉及知识图谱知识推理技术领域，具体涉及一种基于融合多模态信息的实体和关系表示的链接预测方法，包括：收集与所要构建知识图谱主题相关的图像数据、文本数据和三元组数据；将预处理后的三元组数据进行知识抽取和实体对齐；对图像数据进行特征提取，生成视觉表示；对文本数据和三元组数据进行特征提取，生成文本表示；将生成的视觉表示、文本表示和三元组数据共同作为输入，对融合模块进行训练，学习包含多模态信息的实体和关系向量表示；通过解码部分对融合模块学习到的特征表示进行解码并进行链接预测，输出预测为正三元组的概率。本发明可提高链接预测任务的准确率，并能提高多模态知识表示学习的可解释性。