公开(公告)号：CN112380832B

公开(公告)日：2024-01-30

申请号：CN202011272435.3

申请日：2020-11-13

Applicant: 苏州大学

Inventor： 李寿山 ,  殷亚珏 ,  王晶晶 ,  张民 ,  周国栋

IPC: G06F40/194

Abstract: 本发明提供了一种文本匹配方法、装置、电子设备及存储介质，包括：获取第一文本和第二文本，第一文本和第二文本具有相同的文本结构，提取与第一文本中多个版块一一对应的多个第一单视角匹配特征；提取与第二文本中多个版块一一对应的多个第二单视角匹配特征，将属于相同版块的第一单视角匹配特征和第二单视角匹配特征进行拼接，得到多个拼接后的单视角匹配特征；融合多个拼接后的单视角匹配特征得到第一文本和第二文本的多视角匹配特征；利用多视角匹配特征计算第一文本与第二文本的多视角匹配概率；通过多视角匹配概率确定第一文本与第二文本是否匹配。由于多视角匹配特征综合考虑到了各个单视角特征的信息，能够大幅提升文本匹配的准确率。

公开(公告)号：CN114626441A

公开(公告)日：2022-06-14

申请号：CN202210169569.5

申请日：2022-02-23

Applicant: 苏州大学

Inventor： 殷亚珏 ,  李寿山 ,  王晶晶

IPC: G06K9/62 ,  G06F40/205 ,  G06F40/284 ,  G06N3/04 ,  G06N3/08 ,  G06V10/40 ,  G06V10/82

Abstract: 本发明公开了一种基于视觉对比注意力的隐式多模态匹配方法，包括：S1、进行语料标注，在存在隐式对齐关系的图像区域和文本短语之间建立起一一映射关系；S2、根据建立的映射关系，对输入图片‑文本对进行特征提取，得到图片对象特征序列和文本短语特征序列；S3、对图片对象特征和文本短语特征进行特征交互，计算出对齐和未对齐的视觉表示；S4、计算真值标签的对齐和未对齐视觉表示的预测概率，将对齐和未对齐视觉表示的预测概率都作为对比感知损失函数共同组成目标函数。本发明通过识别出文本和图像中实体间的隐式的匹配关系，来帮助模型更好地理解多模态的语义信息，显著地提升了隐式语料集上的匹配性能。

公开(公告)号：CN112380832A

公开(公告)日：2021-02-19

申请号：CN202011272435.3

申请日：2020-11-13

Applicant: 苏州大学

Inventor： 李寿山 ,  殷亚珏 ,  王晶晶 ,  张民 ,  周国栋

IPC: G06F40/194

Abstract: 本发明提供了一种文本匹配方法、装置、电子设备及存储介质，包括：获取第一文本和第二文本，第一文本和第二文本具有相同的文本结构，提取与第一文本中多个版块一一对应的多个第一单视角匹配特征；提取与第二文本中多个版块一一对应的多个第二单视角匹配特征，将属于相同版块的第一单视角匹配特征和第二单视角匹配特征进行拼接，得到多个拼接后的单视角匹配特征；融合多个拼接后的单视角匹配特征得到第一文本和第二文本的多视角匹配特征；利用多视角匹配特征计算第一文本与第二文本的多视角匹配概率；通过多视角匹配概率确定第一文本与第二文本是否匹配。由于多视角匹配特征综合考虑到了各个单视角特征的信息，能够大幅提升文本匹配的准确率。