-
公开(公告)号:CN119649399A
公开(公告)日:2025-03-18
申请号:CN202411604497.8
申请日:2024-11-12
Applicant: 哈尔滨理工大学
IPC: G06V40/10 , G06V10/82 , G06V10/80 , G06V10/764 , G06N3/0455 , G06N3/006
Abstract: 本发明公开了基于多尺度交叉注意力Transformer的跨模态行人重识别方法,包括以下步骤:步骤一、图像获取,步骤二、特征集获取,步骤三、特征融合,步骤四、特征确定,本发明网络的初始阶段,使用两个标准数据集以获取RGB和红外图像,接着,利用MSCAViT从RGB和红外图像中提取关键特征,得到两个特征集,然后,将RGB图像转换为灰度图像,并输入MSCAViT模型以获得第三个特征集,通过这三个特征集的加权融合,使用OSCSO方法确定最优权重,最终得到融合特征,将结果特征输入MSCAViT的解码端,生成最终用于图像匹配的特征,模型通过多种指标进行评估,并与传统方法进行比较,结果表明,所提出的方法在解决VI Re‑ID任务中的模态差异问题上表现出更优越的效果。
-
公开(公告)号:CN118015694B
公开(公告)日:2024-10-18
申请号:CN202410022752.1
申请日:2024-01-06
Applicant: 哈尔滨理工大学
IPC: G06V40/20 , G06V40/10 , G06V10/44 , G06V10/774 , G06V10/82 , G06N3/0464
Abstract: 本发明公开了一种基于分区感知网络的可见光‑红外跨模态行人图像检索的方法,属于行人图像检索技术领域。该方法可以减轻可见光图像和红外图像之间的模态差异,提高跨模态行人图像检索的性能。该方法首先构造了一个实例级通道注意力模块并将其嵌入双流主干网络中,在保持特征有效性的同时减小两种模态之间的差异。其次,区别于现有的水平划分方式,提出非重叠局部分割的方法对特征图进行划分,并在这些子块中集成局部空间注意力模块,以实现模态一致性表示的学习并增强对身体各部位细粒度特征的识别能力。此外,提出了一种交叉约束的三元组损失函数,旨在通过模态间及模态内的一致性和成对损失构建,进一步优化网络的模态解耦能力。与其他方法相比,精确度更高,性能更加稳健。
-
公开(公告)号:CN116935121B
公开(公告)日:2024-04-19
申请号:CN202310899005.1
申请日:2023-07-20
Applicant: 哈尔滨理工大学
IPC: G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/08 , G06V20/10
Abstract: 本发明公开了一种面向跨地域光谱图像地物分类的双驱动特征学习方法,属于光谱图像地物分类技术领域,该方法构建基于统计分布驱动的域特征对齐项和基于模型驱动的域特征对齐项,共同驱动源域和目标域数据的投影特征子空间相互对齐,不仅优化了高光谱跨地域对齐能力,还提高了模型鲁棒性;构建了判别信息约束项,提高了投影特征子空间的领域判别性。最后采用交替方向乘子算法,通过交替优化策略求解目标函数,分别得到源域和目标域的两个对齐子空间;利用源域数据集在其子空间中的投影特征及类别标签训练分类器;将目标域数据在其子空间中投影特征送入训练好的分类器,以获得所述目标域数据集的分类标签。在公开跨地域光谱数据集上的实施结果表明,与现有方法相比,该方法分类精度更高,性能更加稳健。
-
公开(公告)号:CN116935121A
公开(公告)日:2023-10-24
申请号:CN202310899005.1
申请日:2023-07-20
Applicant: 哈尔滨理工大学
IPC: G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/08 , G06V20/10
Abstract: 本发明公开了一种面向跨地域光谱图像地物分类的双驱动特征学习方法,属于光谱图像地物分类技术领域,该方法构建基于统计分布驱动的域特征对齐项和基于模型驱动的域特征对齐项,共同驱动源域和目标域数据的投影特征子空间相互对齐,不仅优化了高光谱跨地域对齐能力,还提高了模型鲁棒性;构建了判别信息约束项,提高了投影特征子空间的领域判别性。最后采用交替方向乘子算法,通过交替优化策略求解目标函数,分别得到源域和目标域的两个对齐子空间;利用源域数据集在其子空间中的投影特征及类别标签训练分类器;将目标域数据在其子空间中投影特征送入训练好的分类器,以获得所述目标域数据集的分类标签。在公开跨地域光谱数据集上的实施结果表明,与现有方法相比,该方法分类精度更高,性能更加稳健。
-
公开(公告)号:CN118015694A
公开(公告)日:2024-05-10
申请号:CN202410022752.1
申请日:2024-01-06
Applicant: 哈尔滨理工大学
IPC: G06V40/20 , G06V40/10 , G06V10/44 , G06V10/774 , G06V10/82 , G06N3/0464
Abstract: 本发明公开了一种基于分区感知网络的可见光‑红外跨模态行人图像检索的方法,属于行人图像检索技术领域。该方法可以减轻可见光图像和红外图像之间的模态差异,提高跨模态行人图像检索的性能。该方法首先构造了一个实例级通道注意力模块并将其嵌入双流主干网络中,在保持特征有效性的同时减小两种模态之间的差异。其次,区别于现有的水平划分方式,提出非重叠局部分割的方法对特征图进行划分,并在这些子块中集成局部空间注意力模块,以实现模态一致性表示的学习并增强对身体各部位细粒度特征的识别能力。此外,提出了一种交叉约束的三元组损失函数,旨在通过模态间及模态内的一致性和成对损失构建,进一步优化网络的模态解耦能力。与其他方法相比,精确度更高,性能更加稳健。
-
-
-
-