公开(公告)号：CN116486233A

公开(公告)日：2023-07-25

申请号：CN202310454914.4

申请日：2023-04-25

Applicant: 重庆邮电大学

Inventor： 许国良 ,  王钰

IPC: G06V10/82 ,  G06V10/80 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明涉及一种多光谱双流网络的目标检测方法，属于图像识别领域。该方法在YOLOv5的Backbone开始阶段有两条数据流，分别对所输入的可见光图像和红外光图像进行特征提取操作，首先构建双流网络，第一个融合模块基于残差网络与基于改进的SwinTransformer模态融合模块进行模态融合特征学习，第二个与第三个基于残差网络以特征图叠加的方式进行模态融合，重复三个模态融合模块的操作后，结束Backbone阶段，之后的Head层与预测程序与YOLOv5相同。本发明解决了在昏暗环境下目标检测性能弱的问题，提高小目标检测精度与运算速度。

公开(公告)号：CN116452937A

公开(公告)日：2023-07-18

申请号：CN202310454888.5

申请日：2023-04-25

Applicant: 重庆邮电大学

Inventor： 许国良 ,  王钰

IPC: G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明涉及基于动态卷积与注意力机制的多模态特征目标检测方法，属于图像识别领域。该方法在YOLOv5的Backbone开始阶段有两条数据流，分别输入的可见光图像和红外光图像，并使用动态卷积模块ODConv和多光谱卷积注意力特征融合模块MS‑CBAM以及残差网络进行特征提取操作。本发明的优点在于结合了可见光图像与红外图像的特征，结合多种注意力机制与架构，大幅度提升多模态和小目标的目标检测精度，解决了在昏暗环境下目标检测性能弱的问题。相较于其他多模态融合目标检测，本发明训练速度快、硬件资源消耗低。