公开(公告)号：CN116628213A

公开(公告)日：2023-08-22

申请号：CN202310137507.0

申请日：2023-02-06

Applicant: 北京达佳互联信息技术有限公司 ,  哈尔滨工业大学(深圳)

Inventor： 郑子豪 ,  张景润 ,  刘铭 ,  秦兵 ,  付瑞吉

IPC: G06F16/36 ,  G06F16/35 ,  G06F40/211 ,  G06F40/284 ,  G06N5/025 ,  G06F18/25

Abstract: 本公开关于一种实体关系的预测方法、装置、电子设备及存储介质，该方法包括：获取图像‑文本对中的文本的文本表示，所述图像‑文本对中的图像和所述文本包含至少一个相同的实体；获取三元组文本的三元组表示，所述三元组文本包括文本三元组文本和图像三元组文本；对所述文本表示和所述三元组表示进行信息融合处理，得到更新后的文本表示，更新后的文本表示包括所述文本三元组文本的信息和所述图像三元组文本的信息；基于更新后的文本表示，预测文本中的头实体和尾实体之间的关系类别。本公开中更新后的文本表示中融合了文本三元组文本的信息和图像三元组文本的信息，因此基于更新后的文本表示预测的头实体和尾实体之间的关系类别更加准确。