-
公开(公告)号:CN113111978B
公开(公告)日:2021-10-01
申请号:CN202110652361.4
申请日:2021-06-11
Applicant: 之江实验室
Abstract: 本发明属于目标检测技术领域,涉及一种基于点云和图像数据的三维目标检测系统和方法,该系统包括:三维检测神经网络、二维检测神经网络、融合处理模块、分类器和后处理模块,所述三维检测神经网络输入三维点云数据,输出三维目标信息至融合处理模块;所述二维检测神经网络输入二维图片数据,输出二维目标信息至融合处理模块;所述融合处理模块对所述三维目标信息和二维目标信息进行融合处理后,将融合处理后的数据输出至分类器;所述分类器对融合处理后的数据信息进行分类,输出分类结果至后处理模块;所述后处理模块输入分类结果和三维目标信息,输出目标检测结果。本发明能够有效提升三维目标检测的准确率。
-
公开(公告)号:CN112580786B
公开(公告)日:2021-09-28
申请号:CN202011529184.2
申请日:2020-12-22
Applicant: 之江实验室
Abstract: 本发明公开了一种用于ReID的神经网络构造和训练方法,构造方法包括:S1,构造神经网络DNN1;S2,从DNN1中选取全卷积层FCLi;S3,构造神经网络DNN2;S4,将选取的FCLi的输出特征向量图Fi和DNN1的输出连接到DNN2的输入,形成神经网络DNNfinal;训练方法包括:S1,构造DNNfinal;S2,训练DNN1;S3,构造神经网络DNN3;S4,将DNNfinal的输出连接到DNN3形成神经网络DNNaux;S5,选取多目标跟踪数据集训练DNNaux,训练过程中不更新DNN1的神经网络参数;S6,训练结束后输出的DNNfinal为用于ReID的神经网络。
-
-
公开(公告)号:CN112598757B
公开(公告)日:2021-06-01
申请号:CN202110236278.9
申请日:2021-03-03
Applicant: 之江实验室
Abstract: 本申请公开了一种多传感器时间空间标定方法及装置,包括:通过IMU传感器获取IMU数据,通过相机获取图像数据,通过激光雷达获取点云数据;对所述图像数据进行语义分割及特征点提取,进行匹配,构建重投影误差方程,并将IMU传感器与相机之间的第一时间偏差引入所述重投影误差方程;对所述点云数据进行修正,并引入IMU传感器与激光雷达之间的第二时间偏差,对修正后的点云进行配准,计算出两帧点云之间的相对位姿;获取两帧图像间的IMU数据和点云间的IMU数据,通过预积分计算相对位姿和位姿偏差;设定滑动窗口,根据所述滑动窗口内所述重投影误差方程、所述相对位姿、所述位姿偏差进行迭代优化求解,实现多传感器时间空间标定。
-
公开(公告)号:CN112257817B
公开(公告)日:2021-03-30
申请号:CN202011509843.6
申请日:2020-12-18
Applicant: 之江实验室
Abstract: 本申请公开了一种地形地质在线语义识别方法、装置及电子设备,包括:利用IMU传感器和相机分别获取振动信息和图像信息;利用宽度学习模型对所述振动信息进行地形地质预测,获得地形地质语义分类结果;利用振动信息和图像信息计算探测器在空间中的行驶轨迹,并生成图像和振动信息的匹配关系;根据所述匹配关系和所述地形地质语义分类结果,生成图像信息与地形地质语义分类的映射,将其作为图像与地形地质语义信息映射的真值;基于神经网络搭建地形地质在线学习与语义分类模型,并训练所述地形地质在线学习与语义分类模型;输入待识别的图像信息至所述地形地质在线学习与语义分类模型中,获取语义分类结果,实现地形地质在线语义识别预测。
-
公开(公告)号:CN117596394B
公开(公告)日:2024-05-24
申请号:CN202410071618.0
申请日:2024-01-18
Applicant: 之江实验室
IPC: H04N19/137 , H04N19/172 , H04N19/93
Abstract: 本发明公开了一种自适应精度的深度图帧间压缩方法,包括:判断当前深度图像帧是否为关键帧;若是,使用差分游程编码算法对当前深度图像帧数据进行压缩,差分游程编码算法首先计算当前深度图像帧的差分结果数据,再对差分结果数据进行有损的游程编码处理;若否,计算当前深度图像帧与上一帧深度图像帧的帧间差分值,使用差分游程编码算法对帧间差分值进行压缩;帧间差分值的根据当前深度图像帧和上一帧深度图像帧的深度值计算得到。本发明根据深度值的大小自适应动态调整压缩精度,在保留原始数据关键信息的基础上提高了压缩率。
-
公开(公告)号:CN116482711A
公开(公告)日:2023-07-25
申请号:CN202310742397.0
申请日:2023-06-21
Applicant: 之江实验室
IPC: G01S17/933 , G06V10/764 , G01S17/86 , G01C9/00
Abstract: 本申请涉及一种用于着陆区自主选择的局部静态环境感知方法,包括绘制对应局部地面环境的点云地图;基于点云地图对局部地面环境进行栅格离散化处理得到地面栅格,结合预设的高度阈值得到障碍物点云信息;遍历全部地面栅格,获得当前栅格中心的法线方向确定地面坡度信息;对每个障碍物对象进行体素化分割得到的障碍物体素栅格信息,基于障碍物体素栅格信息障碍物进行分类;根据地面坡度信息以及分类后的障碍物信息,生成用于着陆区自主选择的局部静态环境信息。结合地面坡度信息以及障碍物信息,面向飞行器着陆生成局部环境信息。能够高效可靠维护局部区域的环境感知信息,以实现飞行器鲁棒可靠的自主着陆区选择。
-
公开(公告)号:CN114895316B
公开(公告)日:2022-10-28
申请号:CN202210809070.6
申请日:2022-07-11
Applicant: 之江实验室
Abstract: 本发明公开一种多激光雷达测距的快速数值仿真方法和装置,该方法能够同时仿真多个激光雷达,并使用一张公共的数据表用来存储和读取测距仿真结果;首先多个激光雷达依次在场景中进行采样,将采样结果写入各自的独立数据表中;重采样所有独立数据表,统一映射到公共数据表空间,并编码写入采样点的距离值;最后回读整张公共数据表,解码读取其中的测距结果。该方法使用公共的GPU数据缓存,减少了数据在GPU和CPU之间传输的次数,降低了数据回读延时;重采样映射阶段利用了GPGPU通用计算,显著提高多激光雷达的仿真性能。
-
公开(公告)号:CN113223050B
公开(公告)日:2022-07-26
申请号:CN202110515741.3
申请日:2021-05-12
Applicant: 之江实验室
Abstract: 本发明公开了一种基于ArUco码的机器人运动轨迹实时采集方法,包括以下步骤:根据实验场地限制、机器人高度和运动轨迹精度要求确定相机型号和安装高度,并计算相机的可测量范围,安装相机和ArUco码标志板;标定每个相机的内参和ArUco码标志板与机器人坐标系的外参;利用相机实时采集机器人运动图像数据实时计算所述图像数据中机器人的6D位姿;评估所述ArUco码标志板在图像数据中的可视面积,计算连续两帧图像的所述6D位姿的差值,根据所述可视面积和所述差值评估6D位姿计算结果;解算相邻两相机之间的外参,计算所述相邻两相机间的变换矩阵,将所有相机计算的所述6D位姿变换到世界坐标系下,并将所述6D位姿输出为TUM数据集格式的运动轨迹。
-
公开(公告)号:CN112396039B
公开(公告)日:2022-06-24
申请号:CN202110036562.1
申请日:2021-01-12
Applicant: 之江实验室
IPC: G06V20/13 , G06V10/774 , G06V10/764 , G06V10/80 , G06V10/82 , G06K9/62 , G06N3/08
Abstract: 本发明公开了一种基于邻域关系的火星栅格地形地图生成方法,属于计算机图像处理技术领域。该火星栅格地形地图生成方法将收集的火星近地面图片输入地形分类网络中进行训练,当交叉熵损失函数收敛时,完成对地形分类网络的训练,以训练好的地形分类网络为基础,在火星近距离地面图片上划分栅格并逐窗口地预测地形类别,后续在上述栅格地形地图上进行结果的平滑,设计了基于邻域关系的多尺度融合与投票平滑算法,最终生成栅格地形地图。本发明的栅格地形地图生成方法仅依赖于能够提供火星近地面图片的传感器设备,方法简单,是基于导航相机、避障相机等设备实现地形理解的有效方法。
-
-
-
-
-
-
-
-
-