公开(公告)号：CN116977810B

公开(公告)日：2024-01-09

申请号：CN202311236786.2

申请日：2023-09-25

Applicant: 之江实验室

Inventor： 马也驰 ,  华炜 ,  张楚润 ,  位硕权 ,  李亚南 ,  孔庶

IPC: G06V10/80 ,  G06V20/64 ,  G06V10/74 ,  G06V10/774

Abstract: 本申请涉及一种多模态后融合的长尾类别检测方法和系统。所述方法包括：利用第一目标检测模型检测当前场景的点云数据，得到第一目标检测结果；利用第二目标检测模型检测当前场景的图像数据，得到第二目标检测结果；将第一目标检测结果中的三维检测框投影到图像数据的坐标系中，与第二目标检测结果中的二维检测框进行配对；若配对结果中长尾类别的上级类别相匹配，则将两者的置信度进行融合，并更新配对结果；基于点云数据的三维检测框、第三置信度以及图像数据的第二长尾类别，确定更新后的配对结果的长尾类别检测结果。通过本方法能够实现多模态的长尾类别检测，通过轻量级模型，提高长尾类别的检测效率和检测结果的输出精度。(56)对比文件王希;陈晓波;习俊通.人体散乱点云数据的区域分割算法.机械设计与研究.2020,(第01期),全文.杨健程;倪冰冰.医学3D计算机视觉:研究进展和挑战.中国图象图形学报.2020,(第10期),全文.汤鹏杰;王瀚漓;许恺晟.LSTM逐层多目标优化及多层概率融合的图像描述.自动化学报.2017,(第07期),全文.曹诗雨;刘跃虎;李辛昭.基于Fast R-CNN的车辆目标检测.中国图象图形学报.2017,(第05期),全文.

公开(公告)号：CN116977810A

公开(公告)日：2023-10-31

申请号：CN202311236786.2

申请日：2023-09-25

Applicant: 之江实验室

Inventor： 马也驰 ,  华炜 ,  张楚润 ,  位硕权 ,  李亚南 ,  孔庶

IPC: G06V10/80 ,  G06V20/64 ,  G06V10/74 ,  G06V10/774

Abstract: 本申请涉及一种多模态后融合的长尾类别检测方法和系统。所述方法包括：利用第一目标检测模型检测当前场景的点云数据，得到第一目标检测结果；利用第二目标检测模型检测当前场景的图像数据，得到第二目标检测结果；将第一目标检测结果中的三维检测框投影到图像数据的坐标系中，与第二目标检测结果中的二维检测框进行配对；若配对结果中长尾类别的上级类别相匹配，则将两者的置信度进行融合，并更新配对结果；基于点云数据的三维检测框、第三置信度以及图像数据的第二长尾类别，确定更新后的配对结果的长尾类别检测结果。通过本方法能够实现多模态的长尾类别检测，通过轻量级模型，提高长尾类别的检测效率和检测结果的输出精度。