公开(公告)号：CN117292352B

公开(公告)日：2024-05-31

申请号：CN202311161444.9

申请日：2023-09-11

Applicant: 东南大学

Inventor： 肖力行 ,  史瑞潇 ,  周毅

IPC: G06V20/58 ,  B60W60/00 ,  B60W50/00 ,  G06V10/764 ,  G06V10/774 ,  G06V10/56

Abstract: 本发明公开了一种面向开放世界目标检测的障碍识别与避障方法及小车系统，首先预训练具有开放世界目标检测能力的目标检测器，利用预训练的Omnidata模型提取RGB图像中物体的几何特征，每一张RGB图像分别生成一张基于深度信息的图像和基于法线信息的图像；利用已知类的Bounding Box作为监督信号，指导深度图像和法线图像，生成类别无关的伪框；再对所有伪框，使用开放词汇目标检测模型Detic，通过提供检测词汇表完成对已知类别和未知新类别的分类，完成具有开放世界目标检测能力的目标检测器的训练；完成行径设备运行路径Route的预设后，得到障碍物位置标签Obstaclei和Bboxi，根据物体标签classi的类别执行不同操作，完成障碍识别及避障，具有较好的可应用性和拓展性，更加符合实际需求。

公开(公告)号：CN117292352A

公开(公告)日：2023-12-26

申请号：CN202311161444.9

申请日：2023-09-11

Applicant: 东南大学

Inventor： 肖力行 ,  史瑞潇 ,  周毅

IPC: G06V20/58 ,  B60W60/00 ,  B60W50/00 ,  G06V10/764 ,  G06V10/774 ,  G06V10/56

Abstract: 本发明公开了一种面向开放世界目标检测的障碍识别与避障方法及小车系统，首先预训练具有开放世界目标检测能力的目标检测器，利用预训练的Omnidata模型提取RGB图像中物体的几何特征，每一张RGB图像分别生成一张基于深度信息的图像和基于法线信息的图像；利用已知类的Bounding Box作为监督信号，指导深度图像和法线图像，生成类别无关的伪框；再对所有伪框，使用开放词汇目标检测模型Detic，通过提供检测词汇表完成对已知类别和未知新类别的分类，完成具有开放世界目标检测能力的目标检测器的训练；完成行径设备运行路径Route的预设后，得到障碍物位置标签Obstaclei和Bboxi，根据物体标签classi的类别执行不同操作，完成障碍识别及避障，具有较好的可应用性和拓展性，更加符合实际需求。