公开(公告)号：CN116502642A

公开(公告)日：2023-07-28

申请号：CN202310474465.X

申请日：2023-04-27

Applicant: 吉林大学

Inventor： 康辉 ,  张书豪 ,  朱波 ,  李宁

IPC: G06F40/295 ,  G06F18/25 ,  G06F18/214 ,  G06F18/22 ,  G06V10/40 ,  G06V10/774 ,  G06V10/74

Abstract: 本发明提供一种基于视觉‑语言结合的命名实体识别方法及装置，所述方法为：获取训练语料数据，并进行预处理；对进行预处理的数据进行特征提取，将文本和视觉特征进行关联；利用交叉模态对比学习算法，将图像和文本编码转化为高维向量，并将它们映射到一个语义空间，生成匹配图，获得多模态融合特征；将所述多模态融合特征、以及预设的概率转换矩阵输入至条件随机场，获得命名实体识别结果。本发明提高了语言理解的能力：通过使用深度学习技术和交叉模态对比学习算法，该模型可以更好地理解语言，并将其与视觉信息联系在一起。