公开(公告)号：CN119646534A

公开(公告)日：2025-03-18

申请号：CN202411725482.7

申请日：2024-11-28

Applicant: 重庆邮电大学

Inventor： 李红波 ,  陈渝文 ,  蒲晓 ,  赵亮亮

IPC: G06F18/22 ,  G06F18/25 ,  G06F18/213 ,  G06V10/44 ,  G06V10/82 ,  G06F16/334 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明公开了一种融合语义生成辅助的跨模态匹配方法、系统及设备，具体涉及跨模态匹配领域，其技术要点为：根据文本特征、图像特征、文本关注特征和图像关注特征计算出初始图像与初始文本之间的跨模态相似度；将图像特征输入到Transformer模型的文本解码器中得到图像特征对应的文本生成特征，将文本特征输入到Transformer模型的图像解码器中得到文本特征对应的图像生成特征；利用交叉注意力机制计算文本生成特征与文本特征的文本模态内相似度，以及图像生成特征与图像特征的图像模态内相似度；基于跨模态相似度、图像模态内相似度和文本模态内相似度构建匹配判定分数，基于匹配判断分数对初始图像和初始文本进行匹配。