-
公开(公告)号:CN114682879A
公开(公告)日:2022-07-01
申请号:CN202210245665.3
申请日:2022-03-14
Applicant: 南京理工大学
Abstract: 本发明涉及一种基于目标跟踪的焊缝跟踪方法,包括:1.系统标定并构建参考系转换系统,2.图像采集和预处理,3.焊缝特征提取,4.三维转换和传递,通过参考系转换系统将最高分的特征点的二维坐标转换成供焊接机器人执行的三维坐标,5.焊缝跟踪:焊接机器人根据收到的连续的特征点坐标进行焊缝跟踪焊接。本发明不存在模型漂移现象且获得的特征点回归绝对误差都在4个像素以内,准确性高;本发明利用多帧图像的相关信息,消除了某些特殊帧强噪声带来的干扰,成功地预测出目标位置;实际焊接过程中算法获取的焊点和人工标记的焊点各维度误差都在1mm以内,验证了本发明的准确性和鲁棒性。
-
公开(公告)号:CN112756742A
公开(公告)日:2021-05-07
申请号:CN202110024740.9
申请日:2021-01-08
Applicant: 南京理工大学
Abstract: 本发明涉及一种基于ERFNet网络的激光视觉焊缝跟踪系统,包括线结构光视觉传感器模块,用于采集焊缝图像信息;图像处理与通信模块和机器人及机器控制模块,基于ERFNet网络,处理焊缝图像信息获得焊缝特征点;机器人及机器控制模块,接收焊缝特征点信息,获得焊接路径指令并进行作业。其将深度学习中的分割思想引入到焊缝特征提取中,实现在复杂的焊接条件下准确地提取到多层多道焊缝的焊缝光条中心线和焊接特征点,并且不同于传统算法中先提取中心线再根据中心线计算特征点的方法,ERFNet网络可以同时准确提取多层多道焊中的两类特征,然后将焊接特征点位信息传输给机器人控制模块,控制焊接机器人移动至待焊接处,实现多层多道焊的焊缝跟踪。
-
公开(公告)号:CN111709882A
公开(公告)日:2020-09-25
申请号:CN202010780609.0
申请日:2020-08-06
Applicant: 南京理工大学
IPC: G06T3/40
Abstract: 本发明涉及一种基于亚像素卷积与特征分割的超分辨率融合的计算方法,属于光谱数据智能处理和分析的技术领域;首先低图像分辨率高光谱数据进入网络,进行数据处理;接着高图像分辨率多光谱数据进入网络与低图像分辨率高光谱数据进行融合,并进行输出;最后将融合处理过后的输出与高光谱数据图像超分辨率重建结果进一步融合。本申请的网络中使用的是非瓶颈1D结构,该结构将原本的3×3卷积核分解为一对1D卷积核,以此减少卷积参数量;本申请使网络在融合时可以学习到变换矩阵信息,有利于提高网络光谱维度重建的准确性和网络泛化能力;整体计算速度提高,并且精度精准。
-
公开(公告)号:CN114682879B
公开(公告)日:2024-06-21
申请号:CN202210245665.3
申请日:2022-03-14
Applicant: 南京理工大学
Abstract: 本发明涉及一种基于目标跟踪的焊缝跟踪方法,包括:1.系统标定并构建参考系转换系统,2.图像采集和预处理,3.焊缝特征提取,4.三维转换和传递,通过参考系转换系统将最高分的特征点的二维坐标转换成供焊接机器人执行的三维坐标,5.焊缝跟踪:焊接机器人根据收到的连续的特征点坐标进行焊缝跟踪焊接。本发明不存在模型漂移现象且获得的特征点回归绝对误差都在4个像素以内,准确性高;本发明利用多帧图像的相关信息,消除了某些特殊帧强噪声带来的干扰,成功地预测出目标位置;实际焊接过程中算法获取的焊点和人工标记的焊点各维度误差都在1mm以内,验证了本发明的准确性和鲁棒性。
-
公开(公告)号:CN113034512B
公开(公告)日:2022-11-11
申请号:CN202110277763.0
申请日:2021-03-15
Applicant: 南京理工大学
Abstract: 本发明涉及一种基于特征分割的焊缝跟踪方法,步骤为:1.采集熔池图像,对熔池图像进行ROI选择。2.采用ERFNet的Encoder‑Decoder分割网络结构进行熔池图像分割,使用语义分割常用的交叉熵损失函数,融合全局特征信息,并在主干网络中加入金字塔池化模块。本发明对现有的ERFNet的网络结构和损失函数进行了改进,网络结构上参考UNet对高层特征和底层特征进行多尺度特征融合,损失函数上用Focal Loss代替交叉熵损失函数。避免激光条纹中心线出现断线、焊接特征点偏差过大等问题。有效提升特征提取算法的性能,准确提取各层各道焊缝的激光条纹中心线和焊缝特征点,不损失算法的效率,保证焊缝跟踪对实时性的要求。
-
公开(公告)号:CN111709882B
公开(公告)日:2022-09-27
申请号:CN202010780609.0
申请日:2020-08-06
Applicant: 南京理工大学
IPC: G06T3/40
Abstract: 本发明涉及一种基于亚像素卷积与特征分割的超分辨率融合的计算方法,属于光谱数据智能处理和分析的技术领域;首先低图像分辨率高光谱数据进入网络,进行数据处理;接着高图像分辨率多光谱数据进入网络与低图像分辨率高光谱数据进行融合,并进行输出;最后将融合处理过后的输出与高光谱数据图像超分辨率重建结果进一步融合。本申请的网络中使用的是非瓶颈1D结构,该结构将原本的3×3卷积核分解为一对1D卷积核,以此减少卷积参数量;本申请使网络在融合时可以学习到变换矩阵信息,有利于提高网络光谱维度重建的准确性和网络泛化能力;整体计算速度提高,并且精度精准。
-
公开(公告)号:CN113034512A
公开(公告)日:2021-06-25
申请号:CN202110277763.0
申请日:2021-03-15
Applicant: 南京理工大学
Abstract: 本发明涉及一种基于特征分割的焊缝跟踪方法,步骤为:1.采集熔池图像,对熔池图像进行ROI选择。2.采用ERFNet的Encoder‑Decoder分割网络结构进行熔池图像分割,使用语义分割常用的交叉熵损失函数,融合全局特征信息,并在主干网络中加入金字塔池化模块。本发明对现有的ERFNet的网络结构和损失函数进行了改进,网络结构上参考UNet对高层特征和底层特征进行多尺度特征融合,损失函数上用Focal Loss代替交叉熵损失函数。避免激光条纹中心线出现断线、焊接特征点偏差过大等问题。有效提升特征提取算法的性能,准确提取各层各道焊缝的激光条纹中心线和焊缝特征点,不损失算法的效率,保证焊缝跟踪对实时性的要求。
-
-
-
-
-
-