-
公开(公告)号:CN116109895A
公开(公告)日:2023-05-12
申请号:CN202211632026.9
申请日:2022-12-19
Applicant: 北京格灵深瞳信息技术股份有限公司
IPC: G06V10/80 , G06V10/82 , G06N3/045 , G06N3/0464 , G06N3/082
Abstract: 本申请实施例提供一种用于目标检测的多模态融合方法和装置,属于计算机视觉领域,方法包括:将RGB图像和深度图像输入同一主干网络,得到第一RGB特征图和第一深度特征图;将第一RGB特征图和第一深度特征图输入主干网络,得到主干网络输出的第二RGB特征图和第二深度特征图;根据第一RGB特征图和第一深度特征图,得到第一透明度参数;根据第二RGB特征图、第二深度特征图和第一透明度参数,得到用于目标检测器训练的第一融合参数。本申请融合RGB模态和Depth模态,通过第一RGB特征图和第一深度特征图,得到图像的透明度参数,有效获取二者互补信息且摒弃冗余信息,在复杂场景下具有良好的检测效果。