公开(公告)号：CN117688197A

公开(公告)日：2024-03-12

申请号：CN202311605206.2

申请日：2023-11-28

Applicant: 昆明理工大学

Inventor： 杨社丹 ,  许乐 ,  李华锋 ,  张亚飞

IPC: G06F16/583 ,  G06V10/77 ,  G06F18/2132 ,  G06V10/82 ,  G06N3/0455

Abstract: 本发明涉及基于判别性特征学习与样本关系辅助的文本‑行人图像检索方法，属行人重识别领域。本发明包括：获取文本描述和行人图像数据，并对图像进行预处理；构建特征提取网络，将预处理好的文本和行人图像分别送入各自模态的特征提取网络；构建判别性特征学习模块，在图像和文本原始特征中挖掘更多的判别性特征；构建样本关系辅助的特征表示模块，充分利用单模态内样本间的关系来优化特征表示；ViT和BERT分别提取的图像和文本特征输入判别性特征学习和样本关系辅助的特征表示模块，得到图像和文本的最终特征，使用图像和文本的最终特征进行跨模态检索。本发明通过挖掘身份判别性特征以及进行特征优化，提升了文本‑行人图像的检索性能。