公开(公告)号：CN114220124B

公开(公告)日：2024-07-12

申请号：CN202111542006.8

申请日：2021-12-16

Applicant: 华南农业大学

Inventor： 郭玉彬 ,  刘攀 ,  李西明 ,  王红旗

IPC: G06V40/10 ,  G06V20/52 ,  G06V10/44 ,  G06V10/771 ,  G06V10/74 ,  G06V10/80 ,  G06V10/82 ,  G06V10/774 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/084 ,  G06N3/0985

Abstract: 本发明公开了一种近红外‑可见光跨模态双流行人重识别方法，以残差网络为基础，初始输入k对图片至神经网络模型中进行特征提取，分别提取可见光模态和红外模态的模态特有特征和模态共享特征；并采用跨模态三元组和Circle联合损失函数对网络模型在近红外‑可见光跨模态数据集上进行训练，将提取到的最终图像特征进行欧式距离度量得到特征匹配结果，实现跨模态行人重识别，本发明采用双流分支网络结构，提高网络特征提取能力，采用随机调换输入策略有概率的选择特定模态的图像输入，引入多头自注意力机制模块以及局部关系注意力方法将不同结构特征融合，有效解决传统可见光图像模式到红外图像模式模态差异大的问题，提高跨模态行人重识别匹配准确率。

公开(公告)号：CN114220124A

公开(公告)日：2022-03-22

申请号：CN202111542006.8

申请日：2021-12-16

Applicant: 华南农业大学

Inventor： 郭玉彬 ,  刘攀 ,  李西明 ,  王红旗

IPC: G06V40/10 ,  G06V20/52 ,  G06V10/44 ,  G06V10/771 ,  G06V10/74 ,  G06V10/80 ,  G06V10/82 ,  G06V10/774 ,  G06N3/04 ,  G06N3/08 ,  G06K9/62

Abstract: 本发明公开了一种近红外‑可见光跨模态双流行人重识别方法，以残差网络为基础，初始输入k对图片至神经网络模型中进行特征提取，分别提取可见光模态和红外模态的模态特有特征和模态共享特征；并采用跨模态三元组和Circle联合损失函数对网络模型在近红外‑可见光跨模态数据集上进行训练，将提取到的最终图像特征进行欧式距离度量得到特征匹配结果，实现跨模态行人重识别，本发明采用双流分支网络结构，提高网络特征提取能力，采用随机调换输入策略有概率的选择特定模态的图像输入，引入多头自注意力机制模块以及局部关系注意力方法将不同结构特征融合，有效解决传统可见光图像模式到红外图像模式模态差异大的问题，提高跨模态行人重识别匹配准确率。