基于文本模态对齐的跨模态行人重识别方法及装置

    公开(公告)号:CN118447530A

    公开(公告)日:2024-08-06

    申请号:CN202410300121.1

    申请日:2024-03-15

    Abstract: 本发明公开一种基于文本模态对齐的跨模态行人重识别方法及装置,属于人工智能技术领域。所述方法包括:训练一可学习向量来捕捉红外图像和可见光图像中与身份相关的模态共享信息;结合训练后的可学习向量获取每个行人ID的文本模态表示,并使用图像编码器提取红外图像和可见光图像中该行人ID的红外模态表示和可见光模态表示;基于所述文本模态表示、所述红外模态表示和所述可见光模态表示之间的彼此对齐来训练该图像编码器;基于训练后的图像编码器对目标红外图像或目标可见光图像中的行人进行编码,并通过对编码结果的分类,得到跨模态的行人重识别结果。本发明可以提升跨模态行人重识别模型的精度。

Patent Agency Ranking