一种深度学习三维焊缝跟踪方法及装置

    公开(公告)号:CN116475563A

    公开(公告)日:2023-07-25

    申请号:CN202310661620.9

    申请日:2023-06-06

    Applicant: 厦门大学

    Abstract: 本发明公开一种深度学习三维焊缝跟踪方法及装置,其包括:实时采样图像输入给训练好的深度学习模型,得到焊缝接头结构类型和焊缝特征点信息;焊缝特征点信息通过标定得到的空间变换关系转化为焊接路径;根据焊接路径带动焊接头进行焊接;当识别出焊缝的终点或者焊接超时或累计运动距离超过设定值后,停止焊接并将焊接机器人移回原点;本发明对深度学习模型CenterNet和CenterTrack的训练步骤进行修改,调整了它们的网络结构,并通过单次网络结构搜索得到适用于提取焊缝图片特征的网络结构,使其更适应线结构光采样的焊缝图像;并对焊缝特征提取网络进行自监督预训练获得预训练权重,在减少网络结构复杂度的基础上,降低算法推理时间,同时提高识别的精确度。

    一种三维轨迹激光焊接焊缝跟踪姿态规划方法

    公开(公告)号:CN114043087A

    公开(公告)日:2022-02-15

    申请号:CN202111467999.7

    申请日:2021-12-03

    Applicant: 厦门大学

    Abstract: 本发明公开一种三维轨迹激光焊接焊缝跟踪姿态规划方法,其包括步骤:(a)约定TCP坐标系并手眼标定;(b)输入预设轨迹;(c)把传感器特征点坐标由传感器坐标系转换到机器人世界坐标系中;(d)构建参考球面;(e)通过双指针遍历预设轨迹的方式求解参考球面和预设轨迹的交点,获取焊缝特征点处机器人最佳姿态方向向量;(f)结合焊缝类型和姿态方向向量,规划机器人姿态。本发明通过设置预设轨迹,在跟踪采样过程中分析当前采样点和预设轨迹的位置关系提前预测传感器采样点处的机械臂姿态,提供了应用于eye‑in‑hand模式的线激光传感器激光焊接焊缝跟踪系统的实时规划姿态解决方案,可以用于实现多种三维异形轨迹的焊缝跟踪。

    基于深度学习的激光焊接焊缝特征点识别方法及装置

    公开(公告)号:CN114140439B

    公开(公告)日:2024-09-06

    申请号:CN202111467997.8

    申请日:2021-12-03

    Applicant: 厦门大学

    Abstract: 本发明公开一种基于深度学习的激光焊接焊缝特征点识别方法及装置,识别方法包括:从采样图像中获取特征点位置,并对焊缝类型进行分类,之后对图像作预处理后获取焊缝轮廓线,并结合特征点的位置、轮廓类型和轮廓线的形状计算出激光入射角参考向量;把特征点在采样的图像中的坐标以及激光入射角参考向量发送给机器人控制系统;机器人控制系统执行空间映射、轨迹规划操作,把图像特征点及激光入射角参考向量转换成可以控制机器人运动的控制量输出给机器人后控制机器人运动。通过YOLOv4实现对焊缝类型进行分类并识别焊缝轮廓特征点位置,进而计算出激光入射角参考向量,在三维异形焊缝的焊缝跟踪过程中具有较高的识别和分类准确率以及较高的鲁棒性。

    一种三维轨迹激光焊接焊缝跟踪姿态规划方法

    公开(公告)号:CN114043087B

    公开(公告)日:2022-10-04

    申请号:CN202111467999.7

    申请日:2021-12-03

    Applicant: 厦门大学

    Abstract: 本发明公开一种三维轨迹激光焊接焊缝跟踪姿态规划方法,其包括步骤:(a)约定TCP坐标系并手眼标定;(b)输入预设轨迹;(c)把传感器特征点坐标由传感器坐标系转换到机器人世界坐标系中;(d)构建参考球面;(e)通过双指针遍历预设轨迹的方式求解参考球面和预设轨迹的交点,获取焊缝特征点处机器人最佳姿态方向向量;(f)结合焊缝类型和姿态方向向量,规划机器人姿态。本发明通过设置预设轨迹,在跟踪采样过程中分析当前采样点和预设轨迹的位置关系提前预测传感器采样点处的机械臂姿态,提供了应用于eye‑in‑hand模式的线激光传感器激光焊接焊缝跟踪系统的实时规划姿态解决方案,可以用于实现多种三维异形轨迹的焊缝跟踪。

    基于深度学习的激光焊接焊缝特征点识别方法及装置

    公开(公告)号:CN114140439A

    公开(公告)日:2022-03-04

    申请号:CN202111467997.8

    申请日:2021-12-03

    Applicant: 厦门大学

    Abstract: 本发明公开一种基于深度学习的激光焊接焊缝特征点识别方法及装置,识别方法包括:从采样图像中获取特征点位置,并对焊缝类型进行分类,之后对图像作预处理后获取焊缝轮廓线,并结合特征点的位置、轮廓类型和轮廓线的形状计算出激光入射角参考向量;把特征点在采样的图像中的坐标以及激光入射角参考向量发送给机器人控制系统;机器人控制系统执行空间映射、轨迹规划操作,把图像特征点及激光入射角参考向量转换成可以控制机器人运动的控制量输出给机器人后控制机器人运动。通过YOLOv4实现对焊缝类型进行分类并识别焊缝轮廓特征点位置,进而计算出激光入射角参考向量,在三维异形焊缝的焊缝跟踪过程中具有较高的识别和分类准确率以及较高的鲁棒性。

Patent Agency Ranking