一种融合点特征和网格特征的点云目标检测方法

    公开(公告)号:CN114120115B

    公开(公告)日:2024-08-23

    申请号:CN202111398672.9

    申请日:2021-11-19

    Applicant: 东南大学

    Inventor: 杜松林 浦建寒

    Abstract: 本发明公开了一种融合点特征和网格特征的点云目标检测方法,包括使用图神经网络提取原始点云基于点的特征,使用网格化点云方式提取基于网格的特征,将基于点的特征融合到基于网格的特征中,再将融合后的特征转为伪图像形式,通过卷积神经网络继续提取高层次特征,在通过卷积神经网络提取特征的过程中,始终保持高分辨率特征以及特征的多尺度融合,后续以混合密度的方式拟合数据分布以输出更好的目标建议框结果。本发明在使用二维卷积速度快的同时,将基于点特征融合到基于网格化的点云特征中,这样也保留了点云的部分三维结构特征,并采用并联结构以提取高分辨率特征。使用基于高斯分布的混合密度网络,能更好的拟合数据分布。

    基于注意力机制和图像特征融合的3D点云目标检测方法

    公开(公告)号:CN115115917A

    公开(公告)日:2022-09-27

    申请号:CN202210659670.9

    申请日:2022-06-13

    Applicant: 东南大学

    Abstract: 本发明公开了一种基于注意力机制和图像特征融合的3D点云目标检测方法,涉及计算机视觉技术领域,解决了3D目标检测算法不够准确的技术问题,其技术方案要点是以图像数据和激光点云数据作为输入,分别输入图像特征提取网络和点云特征编码器,在图像特征提取骨干网络中基于注意力机制学习重要信息,然后将提取到的特征图与点云伪图像进行特征融合。最后将生成的融合特征送入特征金字塔,并将最终的融合特征图作为2D‑3D检测器的输入,预测得到的2D、3D框坐标值,然后经过非极大值抑制和数据转换来完成2D、3D框回归以得到最终结果。本发明利用基于注意力机制的图像特征提取网络弥补了点云信息的缺陷,提高了3D目标检测的精度。

    一种基于动态图卷积神经网络的点云分析方法

    公开(公告)号:CN113313176B

    公开(公告)日:2024-11-26

    申请号:CN202110616319.7

    申请日:2021-06-02

    Applicant: 东南大学

    Inventor: 杜松林 付豪

    Abstract: 本发明公开了一种基于动态图卷积神经网络的点云分析方法,属于图像处理领域。该方法包括:注意力图卷积模块用于提取点云无序领域的特征,找到每个点的K个最近邻近点,通过MLP网络训练出各个边特征的权重,对各个边特征乘以权重求和提取出每一个点的深度特征;动态图卷积模块,对于特征空间的点云仍然使用图卷积模块更新特征数据;残差网络模块,基于动态图卷积网络,引入残差网络,根据残差方向和图卷积网络构建基于注意力机制的残差动态图卷积网络。将点云数据输入到网络之中,可以获得较好的点云分类结果和分割结果。本发明提供了一种端到端的方式可以更好的获取点云局部信息,提高了点云分类以及分割的准确率。

    一种从二维矢量图纸自动重建桁架结构三维点云的方法

    公开(公告)号:CN115409966A

    公开(公告)日:2022-11-29

    申请号:CN202210988496.2

    申请日:2022-08-17

    Applicant: 东南大学

    Abstract: 本发明公开了一种从二维矢量图纸自动重建桁架结构三维点云的方法,只需要二维矢量图纸,即可使用一系列图像识别和信息融合算法重建真实世界的三维点云。为解决无法采用cad进行桁架结构三维重建、手动建模过程繁琐等问题,提出基于深度学习和连通域、obb包围盒等算法对图纸进行掩膜提取、自动分割和视角校正,并区分“主平面”与“辅平面”。通过对“主平面”、“辅平面”的尺寸结构进行特征匹配,得到各个平面的空间位置;在各个平面内,采用一种基于聚类与矢量拼接的直线检测算法识别拓扑,最终重建出桁架结构的三维点云。有益效果在于:提出从二维矢量图纸智能识别和融合语义信息,无需借助cad软件或手动建模,可直接实现三维点云的重建。

    一种融合点特征和网格特征的点云目标检测方法

    公开(公告)号:CN114120115A

    公开(公告)日:2022-03-01

    申请号:CN202111398672.9

    申请日:2021-11-19

    Applicant: 东南大学

    Inventor: 杜松林 浦建寒

    Abstract: 本发明公开了一种融合点特征和网格特征的点云目标检测方法,包括使用图神经网络提取原始点云基于点的特征,使用网格化点云方式提取基于网格的特征,将基于点的特征融合到基于网格的特征中,再将融合后的特征转为伪图像形式,通过卷积神经网络继续提取高层次特征,在通过卷积神经网络提取特征的过程中,始终保持高分辨率特征以及特征的多尺度融合,后续以混合密度的方式拟合数据分布以输出更好的目标建议框结果。本发明在使用二维卷积速度快的同时,将基于点特征融合到基于网格化的点云特征中,这样也保留了点云的部分三维结构特征,并采用并联结构以提取高分辨率特征。使用基于高斯分布的混合密度网络,能更好的拟合数据分布。

    基于注意力机制和图像特征融合的3D点云目标检测方法

    公开(公告)号:CN115115917B

    公开(公告)日:2024-11-26

    申请号:CN202210659670.9

    申请日:2022-06-13

    Applicant: 东南大学

    Abstract: 本发明公开了一种基于注意力机制和图像特征融合的3D点云目标检测方法,涉及计算机视觉技术领域,解决了3D目标检测算法不够准确的技术问题,其技术方案要点是以图像数据和激光点云数据作为输入,分别输入图像特征提取网络和点云特征编码器,在图像特征提取骨干网络中基于注意力机制学习重要信息,然后将提取到的特征图与点云伪图像进行特征融合。最后将生成的融合特征送入特征金字塔,并将最终的融合特征图作为2D‑3D检测器的输入,预测得到的2D、3D框坐标值,然后经过非极大值抑制和数据转换来完成2D、3D框回归以得到最终结果。本发明利用基于注意力机制的图像特征提取网络弥补了点云信息的缺陷,提高了3D目标检测的精度。

    一种复杂结构件的激光点云去噪和缺陷检测方法

    公开(公告)号:CN116310355A

    公开(公告)日:2023-06-23

    申请号:CN202211093180.3

    申请日:2022-09-08

    Applicant: 东南大学

    Abstract: 本发明公开了一种复杂结构件的激光点云去噪和缺陷检测方法,以标准理想点云为先验信息,包括以下步骤:1、获取目标物采集点云和标准点云;2、基于主成分分析(PCA)和最近点迭代(ICP)算法将采集点云配准到标准点云;3、将标准点云进行多向偏移并合成膨胀标准点云;4、基于膨胀标准点云对采集点云进行去噪;5、利用倒角距离和二次确认算法提取缺陷;6、基于密度聚类(DBSCAN)算法分类缺陷。本发明基于先验信息实现了对激光LIDAR采集到的复杂结构目标物激光点云数据精细化去噪以及缺陷检测,去噪和检测效果良好。本发明应用广泛,在点云去噪、设备检修、建筑验收等场合均有重大意义。

    基于联合数据增强和网络训练模型的3D人体姿态估计方法

    公开(公告)号:CN113361570B

    公开(公告)日:2022-11-01

    申请号:CN202110569187.7

    申请日:2021-05-25

    Applicant: 东南大学

    Inventor: 杜松林 原志伟

    Abstract: 本发明提供了基于联合数据增强和网络训练模型的3D人体姿态估计方法,包括:调整训练预训练完成的图像‑2D序列的网络;预训练2D‑3D变换的级联残差网络;根据预训练的2D‑3D网络信息,奖励和惩罚函数的策略得到数据增强操作的分布;根据得到的增强分布,改进进化数据增强的算法来合成3D的人体姿态;联合优化数据增强和2D‑3D的网络训练,最终得到3D人体姿态估计的模型。本发明的有益效果在于:提出了基于奖励和惩罚函数策略的联合优化进化数据增强和网络训练的方法,通过网络训练中的信息来合成数据增强操作的分布,通过得到的增强分布来改进进化数据增强算法,使数据增强和模型训练相互促进,从而获得泛化性能更好的3D人体姿态估计模型。

    一种基于深度特征表达的三维点云语义分割方法

    公开(公告)号:CN113449744A

    公开(公告)日:2021-09-28

    申请号:CN202110800640.0

    申请日:2021-07-15

    Applicant: 东南大学

    Inventor: 杜松林 许喆

    Abstract: 本发明公开了一种基于深度特征表达的三维点云语义分割方法。包括步骤1:搜集三维点云相关的数据集进行处理,用于模型的训练;步骤2:在模型训练过程中,对数据进行预处理;步骤3:建立深度网络模型,将点云数据输入到边缘特征模块获得边缘特征输入到U‑Inception模块得到的特征张量输入到注意力权重模块;如上操作重复多次,每次得到的结果整合后输入到语义分割模块,得到最终的语义标签赋予结果;步骤4:将步骤2处理后得到的数据送入步骤3建立的网络的参数进行训练;步骤5:模型进行测试。本发明实现了对点云中隐含信息的充分提取,解决了三维点云特征处理过程中的局部信息丢失问题,减少了所需参数量,精度高,速度快。

    基于联合数据增强和网络训练模型的3D人体姿态估计方法

    公开(公告)号:CN113361570A

    公开(公告)日:2021-09-07

    申请号:CN202110569187.7

    申请日:2021-05-25

    Applicant: 东南大学

    Inventor: 杜松林 原志伟

    Abstract: 本发明提供了基于联合数据增强和网络训练模型的3D人体姿态估计方法,包括:调整训练预训练完成的图像‑2D序列的网络;预训练2D‑3D变换的级联残差网络;根据预训练的2D‑3D网络信息,奖励和惩罚函数的策略得到数据增强操作的分布;根据得到的增强分布,改进进化数据增强的算法来合成3D的人体姿态;联合优化数据增强和2D‑3D的网络训练,最终得到3D人体姿态估计的模型。本发明的有益效果在于:提出了基于奖励和惩罚函数策略的联合优化进化数据增强和网络训练的方法,通过网络训练中的信息来合成数据增强操作的分布,通过得到的增强分布来改进进化数据增强算法,使数据增强和模型训练相互促进,从而获得泛化性能更好的3D人体姿态估计模型。

Patent Agency Ranking