公开(公告)号：CN116958922A

公开(公告)日：2023-10-27

申请号：CN202310770675.3

申请日：2023-06-27

Applicant: 清华大学

Inventor： 张新钰 ,  沈思甜 ,  李骏 ,  张世焱 ,  国纪龙 ,  吴凡

IPC: G06V20/56 ,  G06V10/44 ,  G06V10/80 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08 ,  G06T9/00

Abstract: 本申请提供一种不良光照场景下的智能驾驶可解释多模态感知方法，涉及智能驾驶技术领域，所述方法包括：获取目标场景的RGB图像以及3D点云数据；利用预先训练完成的第一信源编码模型对3D点云数据进行压缩处理，得到压缩后的3D点云数据；利用预先训练完成的第二信源编码模型对RGB图像进行压缩，得到压缩后的RGB图像；利用预先训练完成的基于多头注意力机制的多模态融合模型对压缩后的3D点云数据和压缩后的RGB图像进行融合处理，得到融合特征；将融合特征与压缩后的3D点云数据的第一点云特征进行相加，得到第二点云特征；利用三维检测头对第二点云特征进行处理，得到目标检测结果。本申请提高了车辆遮挡以及光线骤变等特殊场景下的目标检测的精度。

公开(公告)号：CN116612303A

公开(公告)日：2023-08-18

申请号：CN202310652749.3

申请日：2023-06-02

Applicant: 清华大学

Inventor： 张新钰 ,  李骏 ,  赵于婷 ,  尹昊杰 ,  张旭 ,  张世焱 ,  徐豪

IPC: G06V10/74 ,  G06V10/80 ,  G06V10/26 ,  G06V10/762 ,  G06V10/30

Abstract: 本申请提供一种路车协同下异构点云融合的配准方法及装置，涉及自动驾驶技术领域，所述方法包括：利用Polarseg语义分割器将车端3D点云数据分割为车端地面点云数据与车端非地面点云数据，将路端3D点云数据分割为路端地面点云数据与路端非地面点云数据；将去除形态噪声的车端地面点云数据和去除离群点的车端非地面点云数据进行融合，得到融合后的车端点云数据；将去除形态噪声的路端地面点云数据和去除离群点的路端非地面点云数据进行融合，得到融合后的路端点云数据；以融合后的路端点云数据为源端，以融合后的车端点云数据为目标端，利用全局点云匹配方法对源端和目标端进行匹配，得到源端到目标端的位姿转换矩阵。本申请提高了异构点云的配准精度。

公开(公告)号：CN115019061A

公开(公告)日：2022-09-06

申请号：CN202210924688.7

申请日：2022-08-03

Applicant: 清华大学

Inventor： 张新钰 ,  张世焱 ,  李骏 ,  杨昊波 ,  杨卓异 ,  吴新刚

IPC: G06V10/44 ,  G06N3/04 ,  G06N3/08 ,  G06V10/764 ,  G06V10/82

Abstract: 本发明公开了一种基于深度神经网络信息熵估计的熵优化方法，所述方法包括：步骤1）对待优化的深度神经网络的输入数据与输出数据基于通信理论进行建模，得到对于信息熵的期望与约束；所述深度神经网络包括n个网络层，第n层网络层为输出层；步骤2）根据所述深度神经网络的各层网络结构，对深度神经网络的训练过程建立概率模型；步骤3）采用K‑近临熵估计方法计算训练过程中所述深度神经网络每层网络层输出的信息熵；步骤4）依据信息熵的期望与约束，建立信息熵的损失函数，指导深度神经网络的训练过程与优化方向。本发明提高了对深度神经网络训练过程的可解释性，使训练过程更加透明，并可以量化评价。