公开(公告)号：CN119540786A

公开(公告)日：2025-02-28

申请号：CN202411408338.0

申请日：2024-10-10

Applicant: 北京邮电大学

Inventor： 吴鑫 ,  王莉 ,  徐连明 ,  任柯君

IPC: G06V20/13 ,  G06V20/17 ,  G06V10/44 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明提供一种基于混合Mamba‑CNN网络的无人机多模态遥感图像目标检测方法及装置，其中方法包括：获取待检测的可见光图像和热红外图像；将可见光图像和热红外图像输入至目标检测网络，得到遥感检测结果；目标检测网络基于孪生特征提取网络构建，孪生特征提取网络包括可见光分支网络、红外分支网络、跨模态融合模块、颈部层和检测头，可见光分支网络提取可见光图像中的可见光局部特征，红外分支网络提取热红外图像中的红外局部特征，跨模态融合模块对可见光局部特征和红外局部特征进行融合，得到多尺度特征，颈部层基于多尺度特征，得到全局融合特征，检测头基于全局融合特征，得到遥感检测结果，增强了多模态目标检测的精度与鲁棒性。