公开(公告)号：CN118097600A

公开(公告)日：2024-05-28

申请号：CN202410335563.X

申请日：2024-03-22

Applicant: 同济大学

Inventor： 黄仁波 ,  卓桂荣 ,  熊璐

IPC: G06V20/56 ,  G06V10/44 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明涉及一种特征级多源多模态云端感知融合系统及方法，该系统包括传感器、网联智能车辆、路端设备、无线通讯单元和云端计算平台；该方法包括以下步骤：车端和路端分别获取多源多模态感知数据；根据获取的多源多模态感知数据，编码不同模态下的BEV感知特征；车端和路端将BEV感知特征传输至云端进行空间对齐处理，之后依次进行多模态分支协同特征融合、跨模态特征动态融合，输出得到云端融合BEV特征；针对云端融合BEV特征进行解码处理，输出得到动态目标信息。与现有技术相比，本发明能够提高云端感知融合的鲁棒性、准确性和可扩展性，通过结合车端和路端的多源多模态感知信息，可靠、准确地生成云控检测范围下的动态目标信息。