公开(公告)号：CN115168620A

公开(公告)日：2022-10-11

申请号：CN202211098589.4

申请日：2022-09-09

Applicant: 之江实验室 ,  浙江大学

Inventor： 王永恒 ,  金雄男 ,  蒋雷 ,  王芷霖 ,  王超 ,  巫英才

IPC: G06F16/36 ,  G06F40/194 ,  G06F40/295 ,  G06F40/30 ,  G06N3/08 ,  G06V10/74 ,  G06V10/774 ,  G06V10/82

Abstract: 本发明公开一种面向知识图谱实体对齐的自监督联合学习方法，包括：步骤一，使用图像预训练深度学习模型学习实体的图像特征，通过计算图像特征之间欧氏距离来测量图像相似度，选择相似度最高的实体对作为种子对齐；步骤二，在步骤一的种子对齐的监督下，利用知识图谱的多模态信息，基于知识嵌入模型，将知识图谱嵌入到计算机低维向量空间；步骤三，基于步骤二的知识图谱的嵌入，计算实体多模态交互相似度向量，之后通过模态融合学习各模态的权重并生成最终的实体嵌入，最后，基于实体嵌入计算余弦距离以测量实体之间的对齐可能性，并输出对齐实体列表。本发明以自监督联合学习的方式进行实体对齐，全程无需人工干预，确保了其拓展性。