用于目标检测的多模态融合方法和装置

    公开(公告)号:CN116109895A

    公开(公告)日:2023-05-12

    申请号:CN202211632026.9

    申请日:2022-12-19

    Inventor: 王震 林昌伟 赵勇

    Abstract: 本申请实施例提供一种用于目标检测的多模态融合方法和装置,属于计算机视觉领域,方法包括:将RGB图像和深度图像输入同一主干网络,得到第一RGB特征图和第一深度特征图;将第一RGB特征图和第一深度特征图输入主干网络,得到主干网络输出的第二RGB特征图和第二深度特征图;根据第一RGB特征图和第一深度特征图,得到第一透明度参数;根据第二RGB特征图、第二深度特征图和第一透明度参数,得到用于目标检测器训练的第一融合参数。本申请融合RGB模态和Depth模态,通过第一RGB特征图和第一深度特征图,得到图像的透明度参数,有效获取二者互补信息且摒弃冗余信息,在复杂场景下具有良好的检测效果。

Patent Agency Ranking