一种基于逆透视变换和点云投影的鸟瞰图语义分割标签生成方法

    公开(公告)号:CN114445592B

    公开(公告)日:2024-09-20

    申请号:CN202210111850.3

    申请日:2022-01-29

    Inventor: 詹东旭 冯绪杨

    Abstract: 本发明涉及一种基于逆透视变换和点云投影的鸟瞰图语义分割标签生成方法,该方法包括的步骤为:数据采集,利用同步信号同步同一时刻的相机和激光雷达数据,且每个时刻所有相机和激光雷达传感器数据的时间戳相差不超过设定值;数据标注,同一时刻的m张图像和n个点云数据联合标注,图像上面标出路面的静态区域,点云标注出动态物体3D包围盒;逆透视变换生成BEV标签的路面区域,基于仿射几何的逆透视变换,将各个相机视角的路面的语义分割标签透视到BEV画布上面并进行拼接,并对拼接后的图片进行精细化处理。本发明直接从某一时刻同步的原图和点云生成精确的鸟瞰图语义分割标签,避免了通过无人机航拍路面的方式获取鸟瞰图和进行标注,降低成本。

    基于多帧语义点云拼接的鸟瞰图语义分割标签生成方法

    公开(公告)号:CN114445593B

    公开(公告)日:2024-05-10

    申请号:CN202210114639.7

    申请日:2022-01-30

    Inventor: 詹东旭 冯绪杨

    Abstract: 本发明公开了基于多帧语义点云拼接的鸟瞰图语义分割标签生成方法,1)在车辆上配置六个摄像头和激光雷达;2)利用标定板标定出每个摄像头的内参和相对于车身的外参,标定出激光雷达相对于车身的外参;3)同步同一个时刻的摄像头和激光雷达采集的数据;4)对同一个时刻摄像头采集的6张原图和激光雷达的点云图进行联合标注;5)将标注后的点云图转换到各个摄像头平面,并且利用图像的语义信息,给点云进行染色;6)将连续的多帧语义点云,拼接到以其中某一帧为基准的统一车身坐标系下,并且投影到BEV画布上。本发明,利用图像语义信息和点云信息,生成语义点云进行拼接,最后投影到鸟瞰图画布中自动生成,降低了数据标签的成本。

    一种车载相机外参自动标定方法

    公开(公告)号:CN113838145A

    公开(公告)日:2021-12-24

    申请号:CN202111124527.1

    申请日:2021-09-24

    Abstract: 本发明公开了一种车载相机外参自动标定方法,包括:在待标定的车载相机的摄像范围内设置编码板,所述编码板放置在水平地面上;所述编码板被划分为多个编码区域,每个编码区域的中心位置设置有标记,每个编码区域均对应一个编码和坐标位置,各个编码区域的编码和坐标位置不同,编码由标记的填充颜色和编码区域的背景颜色构成;拍摄图片,对图像进行静态标定得到焦距F和成像中心;根据成像基准坐标系与成像坐标系的旋转变换以及透射成像原理建立方程组,求解得到外参矩阵以及编码板相对于相机的位置;基于外参矩阵和编码板相对于相机的位置转换为车载相机的外参。本发明的车载相机外参自动标定方法,操作简单,准确度更高。

    自动驾驶周视车道线模型训练和检测方法

    公开(公告)号:CN115205800A

    公开(公告)日:2022-10-18

    申请号:CN202210653371.4

    申请日:2022-06-09

    Abstract: 本发明公开了自动驾驶周视车道线模型训练和检测方法,包括如下步骤:1)数据采集、清洗和标注:通过摄像头,获得多个视角的多段视频数据,以分段折线的方式对车道线进行标注;2)模型回归分支训练:对于前视和后视的图片,保持其原始状态直接送入模型进行训练;对于左前、右左后和右前、右后四个图像,分别进行逆时针或顺时针旋转,然后进行水平方向合并为一张图,旋转合并后送入模型进行训练;3)模型分类分支训练:4)模型部署推理。这样,本发明能够极大克服因Line Anchor先验的方向导致的侧面小角度的车道线无法检出的问题,使得其能够同时在前后和侧面都能较好检测出车道线。

    一种基于逆透视变换和点云投影的鸟瞰图语义分割标签生成方法

    公开(公告)号:CN114445592A

    公开(公告)日:2022-05-06

    申请号:CN202210111850.3

    申请日:2022-01-29

    Inventor: 詹东旭 冯绪杨

    Abstract: 本发明涉及一种基于逆透视变换和点云投影的鸟瞰图语义分割标签生成方法,该方法包括的步骤为:数据采集,利用同步信号同步同一时刻的相机和激光雷达数据,且每个时刻所有相机和激光雷达传感器数据的时间戳相差不超过设定值;数据标注,同一时刻的m张图像和n个点云数据联合标注,图像上面标出路面的静态区域,点云标注出动态物体3D包围盒;逆透视变换生成BEV标签的路面区域,基于仿射几何的逆透视变换,将各个相机视角的路面的语义分割标签透视到BEV画布上面并进行拼接,并对拼接后的图片进行精细化处理。本发明直接从某一时刻同步的原图和点云生成精确的鸟瞰图语义分割标签,避免了通过无人机航拍路面的方式获取鸟瞰图和进行标注,降低成本。

    一种基于车道线的俯仰角校准方法及可读存储介质

    公开(公告)号:CN114445392B

    公开(公告)日:2025-01-14

    申请号:CN202210114932.3

    申请日:2022-01-31

    Abstract: 本发明涉及计算机视觉技术领域,具体涉及一种基于车道线的俯仰角校准方法及可读存储介质。所述方法包括:设置n个采样等级,各个采样等级对应车道线在x方向的不同坐标值;在各个采样等级下分别计算各对相邻车道线之间的消失点,并构成消失点集合;通过中值滤波,从消失点集合中选取最终消失点;基于最终消失点计算对应的俯仰角。本发明还公开了一种可读存储介质。本发明的俯仰角校准方法能够获取更稳定的消失点,从而能够提高车载相机俯仰角校准的准确性。

    一种车载相机外参自动标定方法

    公开(公告)号:CN113838145B

    公开(公告)日:2024-04-30

    申请号:CN202111124527.1

    申请日:2021-09-24

    Abstract: 本发明公开了一种车载相机外参自动标定方法,包括:在待标定的车载相机的摄像范围内设置编码板,所述编码板放置在水平地面上;所述编码板被划分为多个编码区域,每个编码区域的中心位置设置有标记,每个编码区域均对应一个编码和坐标位置,各个编码区域的编码和坐标位置不同,编码由标记的填充颜色和编码区域的背景颜色构成;拍摄图片,对图像进行静态标定得到焦距F和成像中心;根据成像基准坐标系与成像坐标系的旋转变换以及透射成像原理建立方程组,求解得到外参矩阵以及编码板相对于相机的位置;基于外参矩阵和编码板相对于相机的位置转换为车载相机的外参。本发明的车载相机外参自动标定方法,操作简单,准确度更高。

    实时精准车道线检测和分类方法、系统及车辆

    公开(公告)号:CN115965924A

    公开(公告)日:2023-04-14

    申请号:CN202310000205.9

    申请日:2023-01-02

    Inventor: 詹东旭 冯绪杨

    Abstract: 本发明公开了一种实时精准车道线检测和分类方法、系统及车辆,包括:步骤1、采集车道线数据;步骤2、对数据清洗;步骤3、数据标注;步骤4、以LaneATT为初始模型架构,采用了神经网络架构搜索的方式,搜索出两个主干网络,其中一个为重型主干网络;另一个为轻量级主干网络;步骤5、将重型主干网络作为车道线检测老师模型,将轻量级网络作为车道线检测学生模型,并进行知识蒸馏,然后采用自注意力蒸馏方式将轻量级网络学习到的车道线特征做加强处理;步骤6、将车道线同时进行位置回归和分类,以实现同时对车道线的位置和类别的预测。本发明能够同时预测车道线位置和类别,且具有高实时性和低资源消耗。

    基于多帧语义点云拼接的鸟瞰图语义分割标签生成方法

    公开(公告)号:CN114445593A

    公开(公告)日:2022-05-06

    申请号:CN202210114639.7

    申请日:2022-01-30

    Inventor: 詹东旭 冯绪杨

    Abstract: 本发明公开了基于多帧语义点云拼接的鸟瞰图语义分割标签生成方法,1)在车辆上配置六个摄像头和激光雷达;2)利用标定板标定出每个摄像头的内参和相对于车身的外参,标定出激光雷达相对于车身的外参;3)同步同一个时刻的摄像头和激光雷达采集的数据;4)对同一个时刻摄像头采集的6张原图和激光雷达的点云图进行联合标注;5)将标注后的点云图转换到各个摄像头平面,并且利用图像的语义信息,给点云进行染色;6)将连续的多帧语义点云,拼接到以其中某一帧为基准的统一车身坐标系下,并且投影到BEV画布上。本发明,利用图像语义信息和点云信息,生成语义点云进行拼接,最后投影到鸟瞰图画布中自动生成,降低了数据标签的成本。

Patent Agency Ranking