-
公开(公告)号:CN113721260B
公开(公告)日:2023-12-12
申请号:CN202110993256.7
申请日:2021-08-26
Applicant: 南京邮电大学
Abstract: 本发明公开了一种激光雷达、双目相机和惯导的在线联合标定方法,包括构造相机‑惯导数据对、激光雷达‑惯导数据对;根据相机‑惯导数据对和激光雷达‑惯导数据对信息,以非线性优化方法计算最优的单目相机与惯导以及激光雷达与惯导的外参;以惯导数据的时间戳为基准,对齐激光雷达数据和图像数据的时间戳,将激光雷达原始数据中的直线特征投影到其最相邻时间戳的图像二维平面上,构造激光雷达‑相机数据对,计算激光雷达和单目相机之间的外参;将两个单目相机数据中直线特征的坐标系统一到世界坐标系下,构造相机‑相机数据对并进行配(56)对比文件蒋林;夏旭洪;韩璐;邱存勇;张泰;宋杰.一种点线特征融合的双目同时定位与地图构建方法.科学技术与工程.2020,(第12期),全文.刘广彬;赵鹏;姜洲;焦明东;密兴刚.机载Lidar系统在地形图测绘中的应用.北京测绘.2020,(第07期),全文.
-
公开(公告)号:CN113298840B
公开(公告)日:2022-09-16
申请号:CN202110574981.0
申请日:2021-05-26
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于带电作业场景下的多模态物体检测方法、系统、装置及存储介质,其包括:对施工范围内实时获取的二维图像进行语义分割;通过映射关系将语义分割后的二维图像投影至三维模型中;在三维模型中对目标物体进行拟合,并在二维图像中对拟合后的目标物体进行阈值分割;通过映射关系将阈值分割后的目标物体的二维图像投影到三维模型中;通过终端实时显示施工范围内经语义分割和阈值分割后的二维图像和三维模型。本发明能够通过深度学习建立语义分割模型,提高物体检测的准确性和实时性,有效提高了指挥人员监督施工的效率和工人施工的安全性,同时使电力系统部门迈向智能化。
-
公开(公告)号:CN113298840A
公开(公告)日:2021-08-24
申请号:CN202110574981.0
申请日:2021-05-26
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于带电作业场景下的多模态物体检测方法、系统、装置及存储介质,其包括:对施工范围内实时获取的二维图像进行语义分割;通过映射关系将语义分割后的二维图像投影至三维模型中;在三维模型中对目标物体进行拟合,并在二维图像中对拟合后的目标物体进行阈值分割;通过映射关系将阈值分割后的目标物体的二维图像投影到三维模型中;通过终端实时显示施工范围内经语义分割和阈值分割后的二维图像和三维模型。本发明能够通过深度学习建立语义分割模型,提高物体检测的准确性和实时性,有效提高了指挥人员监督施工的效率和工人施工的安全性,同时使电力系统部门迈向智能化。
-
公开(公告)号:CN115439694A
公开(公告)日:2022-12-06
申请号:CN202211135259.8
申请日:2022-09-19
Applicant: 南京邮电大学
IPC: G06V10/764 , G06V10/80 , G06V10/82 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于深度学习的高精度点云补全方法及装置,包括:在特征提取模块引入动态核卷积PAConv,可以根据每个点与其邻域点的位置关系学习权重系数,并组合权重矩阵自适应地构建卷积内核。在特征融合模块添加了空间注意力机制,有助于解码器更好学到多种特征之间的相互关系,从而更好的表示这些特征信息。鉴别器模块包含全局和局部注意力鉴别器模块,利用多层全连接进行分类,分别从整体和局部来判断生成结果是否符合真实点云分布,进而优化生成结果。从而提高点云补全的精度,得到完整准确的点云补全结果,这也为点云分割、分类、物体识别以及点云重建等诸多下游任务的顺利进行提供了保障。
-
公开(公告)号:CN113721260A
公开(公告)日:2021-11-30
申请号:CN202110993256.7
申请日:2021-08-26
Applicant: 南京邮电大学
Abstract: 本发明公开了一种激光雷达、双目相机和惯导的在线联合标定方法,包括构造相机‑惯导数据对、激光雷达‑惯导数据对;根据相机‑惯导数据对和激光雷达‑惯导数据对信息,以非线性优化方法计算最优的单目相机与惯导以及激光雷达与惯导的外参;以惯导数据的时间戳为基准,对齐激光雷达数据和图像数据的时间戳,将激光雷达原始数据中的直线特征投影到其最相邻时间戳的图像二维平面上,构造激光雷达‑相机数据对,计算激光雷达和单目相机之间的外参;将两个单目相机数据中直线特征的坐标系统一到世界坐标系下,构造相机‑相机数据对并进行配准,计算两个单目相机之间的外参;将各个外参进行全局优化,不断迭代更新,直至达到全局误差阈值。
-
公开(公告)号:CN115330734A
公开(公告)日:2022-11-11
申请号:CN202210994552.3
申请日:2022-08-18
Applicant: 南京邮电大学 , 南京欧睿三维科技有限公司
Abstract: 一种基于三维目标检测和点云缺陷补全的自动化机器人补焊系统,整套系统通过ROS进行通信。通过嵌入坐标注意力机制的Lidar‑RCNN++网络模型实现选取指定工件的三维目标检测,结合PointNet网络进行三维缺陷检测,最后采用PF‑NET网络进行点云补全,并结合PCL点云处理库进行缺陷补焊;以Ubuntu18.04为操作系统,以多个深度学习算法为基础网络框架,结合PCL开源库进行软件开发,建立自动化补焊系统。在人机交互方面,结合QT图形界面进行上位机功能开发,建立的可视化界面显示缺陷工件点云、点云补全效果和缺陷补焊结果,具有人机交互性好、结果可视化能力强等特点。通过本系统可解决在大型焊接场景下高精度识别工件种类以及工件缺陷补焊的问题,使现代焊接作业进一步迈向自动化与智能化。
-
-
-
-
-