公开(公告)号：CN115565204B

公开(公告)日：2024-12-03

申请号：CN202211223245.1

申请日：2022-10-08

Applicant: 南通大学

Inventor： 江锴威 ,  王进

IPC: G06V40/10 ,  G06V10/44 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/084

Abstract: 本发明公开了一种利用局部监督的跨模态行人重识别方法，首先利用图像处理的方法将可见光图像转换成与红外图像更为接近的灰度图像，在图像层面缓解跨模态的差异，避免了使用GAN可能会造成的引入新的噪声以及需要额外训练过程的问题。其次使用共享参数的双流网络，提取具有判别性的共享特征，在特征层面缓解跨模态差异；接着，设计了局部监督网络，使学习到的全局特征吸取局部特征的优势，增强其对背景、遮挡等噪声的鲁棒性，缓解了模态内部差异；最后，设计了跨模态分组损失，联合身份损失对网络进行约束，维持类内距离的同时，拉大类间距离，提升整体性能。本发明的跨模态行人重识别框架LSN兼顾解决了跨模态差异以及模态内部差异。

公开(公告)号：CN115565204A

公开(公告)日：2023-01-03

申请号：CN202211223245.1

申请日：2022-10-08

Applicant: 南通大学

Inventor： 江锴威 ,  王进

IPC: G06V40/10 ,  G06V10/44 ,  G06V10/764 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种利用局部监督的跨模态行人重识别方法，首先利用图像处理的方法将可见光图像转换成与红外图像更为接近的灰度图像，在图像层面缓解跨模态的差异，避免了使用GAN可能会造成的引入新的噪声以及需要额外训练过程的问题。其次使用共享参数的双流网络，提取具有判别性的共享特征，在特征层面缓解跨模态差异；接着，设计了局部监督网络，使学习到的全局特征吸取局部特征的优势，增强其对背景、遮挡等噪声的鲁棒性，缓解了模态内部差异；最后，设计了跨模态分组损失，联合身份损失对网络进行约束，维持类内距离的同时，拉大类间距离，提升整体性能。本发明的跨模态行人重识别框架LSN兼顾解决了跨模态差异以及模态内部差异。

公开(公告)号：CN114550208A

公开(公告)日：2022-05-27

申请号：CN202210123546.0

申请日：2022-02-10

Applicant: 南通大学

Inventor： 王进 ,  张天奇 ,  江锴威

IPC: G06V40/10 ,  G06N3/04 ,  G06N3/08 ,  G06V10/44 ,  G06V10/42 ,  G06V10/56 ,  G06V10/82

Abstract: 本发明公开了一种基于全局级别和局部级别联合约束的跨模态行人再识别方法。首先，提出了基于非局部注意力机制的残差网络，提取共享特征，减少跨模态差异。其次，提出了全局级别和局部级别的联合约束，增加对背景、遮挡等噪声的鲁棒性，减少模内差异。特别地，利用对局部特征的划分策略，避免了非局部注意力机制缺少位置相关性的问题，进一步增加了模型的鲁棒性。