-
公开(公告)号:CN112184589B
公开(公告)日:2021-10-08
申请号:CN202011060052.X
申请日:2020-09-30
Applicant: 清华大学
Abstract: 本发明公开了一种基于语义分割的点云强度补全方法及系统,该方法包括:由相机和激光雷达同步采集路面的RGB图像和点云数据;利用转换矩阵对点云数据进行空间变换,生成二维反射强度投影图和二维深度投影图;对RGB图像和二维反射强度投影图经反射强度补全得到单通道反射强度投影图;对RGB图像和二维深度投影图经深度补全得到单通道深度投影图;对RGB图像、单通道反射强度投影图和单通道深度投影图经粗粒度补全处理,得到二维粗粒度反射强度投影图;对RGB图像和二维深度投影图经语义分割处理,得到若干个待补全区域;根据待补全区域对二维粗粒度反射强度投影图进行细粒度反射强度补全得到二维反射强度投影补全图。
-
公开(公告)号:CN112270251A
公开(公告)日:2021-01-26
申请号:CN202011156482.1
申请日:2020-10-26
Applicant: 清华大学
Abstract: 本发明公开了一种基于互信息的自适应多传感器数据融合方法,所述方法包括:接收相机采集路面的RGB图像;接收激光雷达同步采集该路面的点云数据;对点云数据进行预处理得到稠密点云数据;将RGB图像和稠密点云数据输入预先建立和训练好的融合网络,输出数据融合结果;所述融合网络,用于计算输入数据的特征张量与预期特征的互信息,根据互信息分配输入数据的融合权重,进而根据融合权重输出数据融合结果。本发明的方法引入了互信息这一信息论工具,计算输入数据的提取特征与融合网络的预期特征之间的相关性,可以合理、客观地量化数据质量的好坏与信息量的大小,有严格的数学方法作为理论支撑,具有一定的可解释性。
-
公开(公告)号:CN112184589A
公开(公告)日:2021-01-05
申请号:CN202011060052.X
申请日:2020-09-30
Applicant: 清华大学
Abstract: 本发明公开了一种基于语义分割的点云强度补全方法及系统,该方法包括:由相机和激光雷达同步采集路面的RGB图像和点云数据;利用转换矩阵对点云数据进行空间变换,生成二维反射强度投影图和二维深度投影图;对RGB图像和二维反射强度投影图经反射强度补全得到单通道反射强度投影图;对RGB图像和二维深度投影图经深度补全得到单通道深度投影图;对RGB图像、单通道反射强度投影图和单通道深度投影图经粗粒度补全处理,得到二维粗粒度反射强度投影图;对RGB图像和二维深度投影图经语义分割处理,得到若干个待补全区域;根据待补全区域对二维粗粒度反射强度投影图进行细粒度反射强度补全得到二维反射强度投影补全图。
-
公开(公告)号:CN111553859B
公开(公告)日:2020-12-01
申请号:CN202010355681.9
申请日:2020-04-29
Applicant: 清华大学
IPC: G06T5/00
Abstract: 本发明公开了一种激光雷达点云反射强度补全方法及系统,所述方法包括:利用标定后的车载摄像头和激光雷达,获取同一路面的灰度图像和原始点云;使用预设的边缘提取策略提取灰度图像的边缘信息,得到该灰度图像的边缘图像;对原始点云进行预处理,得到原始点云反射强度投影图像和插值补全点云反射强度投影图像;将灰度图像、灰度图像的边缘图像、原始点云反射强度投影图像和插值补全点云反射强度投影图像,输入预先训练好的点云反射强度补全模型,输出补全点云反射强度投影图像。本发明提供的点云反射强度补全方法可以充分利用点云和图像之间的潜在关联,从而有效、准确地补全出激光雷达点云的反射强度图像。
-
公开(公告)号:CN112270251B
公开(公告)日:2021-07-06
申请号:CN202011156482.1
申请日:2020-10-26
Applicant: 清华大学
Abstract: 本发明公开了一种基于互信息的自适应多传感器数据融合方法,所述方法包括:接收相机采集路面的RGB图像;接收激光雷达同步采集该路面的点云数据;对点云数据进行预处理得到稠密点云数据;将RGB图像和稠密点云数据输入预先建立和训练好的融合网络,输出数据融合结果;所述融合网络,用于计算输入数据的特征张量与预期特征的互信息,根据互信息分配输入数据的融合权重,进而根据融合权重输出数据融合结果。本发明的方法引入了互信息这一信息论工具,计算输入数据的提取特征与融合网络的预期特征之间的相关性,可以合理、客观地量化数据质量的好坏与信息量的大小,有严格的数学方法作为理论支撑,具有一定的可解释性。
-
公开(公告)号:CN111553859A
公开(公告)日:2020-08-18
申请号:CN202010355681.9
申请日:2020-04-29
Applicant: 清华大学
IPC: G06T5/00
Abstract: 本发明公开了一种激光雷达点云反射强度补全方法及系统,所述方法包括:利用标定后的车载摄像头和激光雷达,获取同一路面的灰度图像和原始点云;使用预设的边缘提取策略提取灰度图像的边缘信息,得到该灰度图像的边缘图像;对原始点云进行预处理,得到原始点云反射强度投影图像和插值补全点云反射强度投影图像;将灰度图像、灰度图像的边缘图像、原始点云反射强度投影图像和插值补全点云反射强度投影图像,输入预先训练好的点云反射强度补全模型,输出补全点云反射强度投影图像。本发明提供的点云反射强度补全方法可以充分利用点云和图像之间的潜在关联,从而有效、准确地补全出激光雷达点云的反射强度图像。
-
公开(公告)号:CN113610141B
公开(公告)日:2022-03-11
申请号:CN202110880427.5
申请日:2021-08-02
Applicant: 清华大学
Abstract: 本发明公开了自动驾驶多传感器融合感知模型的鲁棒性测试方法及系统,所述方法包括:利用预处理后的多个车载传感器的数据,训练得到多传感器融合感知模型;从多个车载传感器中选取一个待攻击传感器;在选择的待攻击传感器采集的数据上生成添加对抗扰动噪声的掩码,由此生成欺诈数据;将欺诈数据与其他传感器正常采集到的数据输入训练好的多传感器融合感知模型,计算欺诈数据生成的损失函数,并进行反向传播;结合损失函数梯度对欺诈数据进行迭代更新,得到最终的欺诈数据;将最终的欺诈数据与其他传感器正常采集到的数据输入到多传感器融合感知模型中,得到多传感器融合感知模型的输出精度,根据输出精度获取多传感器融合感知模型的鲁棒性测试结果。
-
公开(公告)号:CN113610141A
公开(公告)日:2021-11-05
申请号:CN202110880427.5
申请日:2021-08-02
Applicant: 清华大学
Abstract: 本发明公开了自动驾驶多传感器融合感知模型的鲁棒性测试方法及系统,所述方法包括:利用预处理后的多个车载传感器的数据,训练得到多传感器融合感知模型;从多个车载传感器中选取一个待攻击传感器;在选择的待攻击传感器采集的数据上生成添加对抗扰动噪声的掩码,由此生成欺诈数据;将欺诈数据与其他传感器正常采集到的数据输入训练好的多传感器融合感知模型,计算欺诈数据生成的损失函数,并进行反向传播;结合损失函数梯度对欺诈数据进行迭代更新,得到最终的欺诈数据;将最终的欺诈数据与其他传感器正常采集到的数据输入到多传感器融合感知模型中,得到多传感器融合感知模型的输出精度,根据输出精度获取多传感器融合感知模型的鲁棒性测试结果。
-
公开(公告)号:CN111291676B
公开(公告)日:2020-12-11
申请号:CN202010081032.4
申请日:2020-02-05
Applicant: 清华大学
Abstract: 本发明公开一种基于激光雷达点云和相机图像融合的车道线检测方法及装置和芯片,涉及检测技术领域,为解决准确、有效的检测车道线的问题。所述基于激光雷达点云和相机图像融合的车道线检测方法,包括:接收同一路面的路面点云信息和路面图像信息。根据路面点云信息和路面图像信息,确定车道融合图像。根据路面点云信息、路面图像信息和车道融合图像,确定路面融合图像。从路面融合图像检测车道线。所述基于激光雷达点云和相机图像融合的车道线检测装置用于执行基于激光雷达点云和相机图像融合的车道线检测方法。本发明提供的基于激光雷达点云和相机图像融合的车道线检测装置和芯片用于车道线检测。
-
公开(公告)号:CN111291676A
公开(公告)日:2020-06-16
申请号:CN202010081032.4
申请日:2020-02-05
Applicant: 清华大学
Abstract: 本发明公开一种基于激光雷达点云和相机图像融合的车道线检测方法及装置和芯片,涉及检测技术领域,为解决准确、有效的检测车道线的问题。所述基于激光雷达点云和相机图像融合的车道线检测方法,包括:接收同一路面的路面点云信息和路面图像信息。根据路面点云信息和路面图像信息,确定车道融合图像。根据路面点云信息、路面图像信息和车道融合图像,确定路面融合图像。从路面融合图像检测车道线。所述基于激光雷达点云和相机图像融合的车道线检测装置用于执行基于激光雷达点云和相机图像融合的车道线检测方法。本发明提供的基于激光雷达点云和相机图像融合的车道线检测装置和芯片用于车道线检测。
-
-
-
-
-
-
-
-
-