公开(公告)号：CN119646272B

公开(公告)日：2025-05-13

申请号：CN202510186603.3

申请日：2025-02-20

Applicant: 西南交通大学

Inventor： 张晓博 ,  盛逸凯 ,  孙波 ,  王富淞 ,  杨芸菲

IPC: G06F16/903 ,  G06N3/045 ,  G06N3/08

Abstract: 本发明公开了一种基于信息增强和多模态全局局部特征对齐的图文检索方法，涉及图文检索技术领域，步骤如下：1、获取图片信息和对应文本描述数据；2、分别对图片数据和文本数据进行特征提取，得到图片全局特征、局部特征和文本词特征和句子特征；3、将图片局部特征和图片全局特征进行融合，获得拥有全局信息的局部特征，实现信息增强；4、将图片特征和文本特征放入交叉注意力机制模型中进行粗细粒度特征融合，得到图文全局融合特征和图文局部融合特征，实现图文的粗细粒度对齐；5、将图文局部融合特征与图文局部特征进行相似度计算，以实现图文检索。本发明通过信息增强和特征融合，保证了粗粒度和细粒度的对齐，提高了图像和文本的对齐。

公开(公告)号：CN119646272A

公开(公告)日：2025-03-18

申请号：CN202510186603.3

申请日：2025-02-20

Applicant: 西南交通大学

Inventor： 张晓博 ,  盛逸凯 ,  孙波 ,  王富淞 ,  杨芸菲

IPC: G06F16/903 ,  G06N3/045 ,  G06N3/08

Abstract: 本发明公开了一种基于信息增强和多模态全局局部特征对齐的图文检索方法，涉及图文检索技术领域，步骤如下：1、获取图片信息和对应文本描述数据；2、分别对图片数据和文本数据进行特征提取，得到图片全局特征、局部特征和文本词特征和句子特征；3、将图片局部特征和图片全局特征进行融合，获得拥有全局信息的局部特征，实现信息增强；4、将图片特征和文本特征放入交叉注意力机制模型中进行粗细粒度特征融合，得到图文全局融合特征和图文局部融合特征，实现图文的粗细粒度对齐；5、将图文局部融合特征与图文局部特征进行相似度计算，以实现图文检索。本发明通过信息增强和特征融合，保证了粗粒度和细粒度的对齐，提高了图像和文本的对齐。