公开(公告)号：CN117935307A

公开(公告)日：2024-04-26

申请号：CN202410075248.8

申请日：2024-01-18

Applicant: 南京信息工程大学

Inventor： 邓淑雅 ,  程旭

IPC: G06V40/10 ,  G06V10/30 ,  G06V10/42 ,  G06V10/62 ,  G06V10/764 ,  G06V10/77 ,  G06V10/82 ,  G06N3/045 ,  G06N3/08

Abstract: 本发明公开了一种双模态对齐的跨模态行人重识别方法，首先利用双重注意力视觉transformer作为特征提取的骨干网络，可以消除背景噪声并且充分捕捉可见光和红外图像中行人的全局特征信息。其次，提出了多粒度特征互学习策略，结合域对齐和自蒸馏策略来缓解模态差异，通过设计的损失函数来增强可见光特征和红外特征之间的识别感知能力和信息交互能力。此外，设计了双模态对齐子模块，分别在模态间和模态内利用全局自注意力机制来探索两种模态之间的潜在交互作用。本发明在两个广泛使用的跨模态数据集上进行了全面的评估，证明了所提出方法的有效性。此外，还在两个被损坏的跨模态数据集上进行了评估实验，结果表明了该方法的强泛化性。

公开(公告)号：CN117746467B

公开(公告)日：2024-05-28

申请号：CN202410018744.X

申请日：2024-01-05

Applicant: 南京信息工程大学

Inventor： 邓淑雅 ,  程旭

IPC: G06V40/10 ,  G06V10/44 ,  G06N3/0464 ,  G06N3/08 ,  G06V10/82

Abstract: 本发明公开了一种模态增强和补偿的跨模态行人重识别方法，引入了模态相互指导策略，指导可见光和红外模态的对齐匹配。首先，通过堆叠具有不同类型和感受野尺度的卷积来构建双分支结构的模态增强空间，旨在提取足够的模态信息用于特征补偿阶段；然后，构建模态补偿空间，分别从高度、宽度和通道三个维度通过特征级模态信息融合来补偿可见光或红外模态中相应的行人模态缺失信息；最后，设计了一种模态相互指导学习策略，通过使用身份信息互学习损失和模态引导对齐损失进行联合优化，输出行人匹配结果。本发明方法构建了模态增强和补偿空间并将其集成到特征级别，以改善跨模态差异，提取更具有辨别力的行人模态信息。

公开(公告)号：CN117746467A

公开(公告)日：2024-03-22

申请号：CN202410018744.X

申请日：2024-01-05

Applicant: 南京信息工程大学

Inventor： 邓淑雅 ,  程旭

IPC: G06V40/10 ,  G06V10/44 ,  G06N3/0464 ,  G06N3/08 ,  G06V10/82

Abstract: 本发明公开了一种模态增强和补偿的跨模态行人重识别方法，引入了模态相互指导策略，指导可见光和红外模态的对齐匹配。首先，通过堆叠具有不同类型和感受野尺度的卷积来构建双分支结构的模态增强空间，旨在提取足够的模态信息用于特征补偿阶段；然后，构建模态补偿空间，分别从高度、宽度和通道三个维度通过特征级模态信息融合来补偿可见光或红外模态中相应的行人模态缺失信息；最后，设计了一种模态相互指导学习策略，通过使用身份信息互学习损失和模态引导对齐损失进行联合优化，输出行人匹配结果。本发明方法构建了模态增强和补偿空间并将其集成到特征级别，以改善跨模态差异，提取更具有辨别力的行人模态信息。