一种基于多模态信息的实体对齐方法、设备及介质

    公开(公告)号:CN119179905A

    公开(公告)日:2024-12-24

    申请号:CN202411203270.2

    申请日:2024-08-29

    Abstract: 本申请公开了一种基于多模态信息的实体对齐方法、设备及介质,涉及实体对齐领域,该方法包括获取每一实体的多模态信息;根据每一实体的多模态信息,采用跨模态一致性整合网络,得到实体的嵌入表示;所述跨模态一致性整合网络包括:多头注意力机制、两个知识图谱、标准化和softmax函数以及RMSprop优化器;根据多模态信息分别确定各模态信息的相似度矩阵;将实体的嵌入表示计算的实体间的相似度矩阵与各模态信息的相似度矩阵相结合,得到综合相似度矩阵;根据综合相似度矩阵进行实体对齐评估。本申请能够有效处理多模态数据中的复杂性,保留各模态的特异性信息,进而提升多模态实体对齐的精度和鲁棒性。

Patent Agency Ranking