公开(公告)号：CN113034512B

公开(公告)日：2022-11-11

申请号：CN202110277763.0

申请日：2021-03-15

Applicant: 南京理工大学

Inventor： 柏连发 ,  王业宇 ,  赵壮 ,  韩静 ,  张毅 ,  罗隽 ,  郭卓然 ,  杨傲东 ,  王兴国

IPC: G06T7/11 ,  G06V10/44 ,  G06V10/26 ,  G06V10/25 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明涉及一种基于特征分割的焊缝跟踪方法，步骤为：1.采集熔池图像，对熔池图像进行ROI选择。2.采用ERFNet的Encoder‑Decoder分割网络结构进行熔池图像分割，使用语义分割常用的交叉熵损失函数，融合全局特征信息，并在主干网络中加入金字塔池化模块。本发明对现有的ERFNet的网络结构和损失函数进行了改进，网络结构上参考UNet对高层特征和底层特征进行多尺度特征融合，损失函数上用Focal Loss代替交叉熵损失函数。避免激光条纹中心线出现断线、焊接特征点偏差过大等问题。有效提升特征提取算法的性能，准确提取各层各道焊缝的激光条纹中心线和焊缝特征点，不损失算法的效率，保证焊缝跟踪对实时性的要求。

公开(公告)号：CN113034512A

公开(公告)日：2021-06-25

申请号：CN202110277763.0

申请日：2021-03-15

Applicant: 南京理工大学

Inventor： 柏连发 ,  王业宇 ,  赵壮 ,  韩静 ,  张毅 ,  罗隽 ,  郭卓然 ,  杨傲东 ,  王兴国

IPC: G06T7/11 ,  G06K9/32 ,  G06K9/46 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明涉及一种基于特征分割的焊缝跟踪方法，步骤为：1.采集熔池图像，对熔池图像进行ROI选择。2.采用ERFNet的Encoder‑Decoder分割网络结构进行熔池图像分割，使用语义分割常用的交叉熵损失函数，融合全局特征信息，并在主干网络中加入金字塔池化模块。本发明对现有的ERFNet的网络结构和损失函数进行了改进，网络结构上参考UNet对高层特征和底层特征进行多尺度特征融合，损失函数上用Focal Loss代替交叉熵损失函数。避免激光条纹中心线出现断线、焊接特征点偏差过大等问题。有效提升特征提取算法的性能，准确提取各层各道焊缝的激光条纹中心线和焊缝特征点，不损失算法的效率，保证焊缝跟踪对实时性的要求。

公开(公告)号：CN112756742A

公开(公告)日：2021-05-07

申请号：CN202110024740.9

申请日：2021-01-08

Applicant: 南京理工大学

Inventor： 赵壮 ,  陆骏 ,  王业宇 ,  罗隽 ,  杨傲东 ,  王兴国

IPC: B23K9/12 ,  B23K9/32

Abstract: 本发明涉及一种基于ERFNet网络的激光视觉焊缝跟踪系统，包括线结构光视觉传感器模块，用于采集焊缝图像信息；图像处理与通信模块和机器人及机器控制模块，基于ERFNet网络，处理焊缝图像信息获得焊缝特征点；机器人及机器控制模块，接收焊缝特征点信息，获得焊接路径指令并进行作业。其将深度学习中的分割思想引入到焊缝特征提取中，实现在复杂的焊接条件下准确地提取到多层多道焊缝的焊缝光条中心线和焊接特征点，并且不同于传统算法中先提取中心线再根据中心线计算特征点的方法，ERFNet网络可以同时准确提取多层多道焊中的两类特征，然后将焊接特征点位信息传输给机器人控制模块，控制焊接机器人移动至待焊接处，实现多层多道焊的焊缝跟踪。