-
公开(公告)号:CN113888631A
公开(公告)日:2022-01-04
申请号:CN202111017083.1
申请日:2021-08-31
Applicant: 华南理工大学
Abstract: 本发明公开了一种基于目标裁剪区域的指定物体抓取方法,包括以下步骤:S1、采集实际抓取场景的RGB图像和深度图像;S2、对采集的深度图像和RGB图像进行对齐和裁剪操作;S3、将处理后的RGB图像数据流输入目标检测网络,输出当前场景中抓取物体位置和区域;S4、将处理后的深度图像输出训练好的全卷积神经网络中,得到整个场景的抓取位姿;S5、根据目标检测的结果和整个场景的抓取位姿生成指定目标物体的抓取位姿;S6、将抓取位姿转化为机械臂操作空间的抓取位姿;S7、设置机器人抓取轨迹并完成抓取。本发明能够完成在多目标的场景中对指定的目标物体进行抓取操作,建立的级联全卷积神经网络具有轻量并准确率高的优点。
-
公开(公告)号:CN113808205B
公开(公告)日:2023-07-18
申请号:CN202111017087.X
申请日:2021-08-31
Applicant: 华南理工大学
IPC: G06T7/73 , G06T7/13 , G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种基于检测约束的快速动态目标抓取方法,包括以下步骤:S1建立快速目标检测方法;S2、用迁移学习的方法对S1中的网络进行训练;S3、使用S2中训练好的模型,基于摄像头获取的RGB图像数据流进行目标检测,实现对真实环境中抓取物体的分类与标注;S4、设计物体边界框矫正策略,减小图像中标注的边界框与真实边界框的偏差;S5、利用深度信息算法估计目标物体抓取点的深度值;S6、将抓取位姿映射到机器人操作空间中的三维抓取位姿。本发明提出了一种基于检测约束的快速动态目标抓取方法,并且建立MobileNetV3融合YOLOV4检测方法的检测算法,可以满足抓取操作对实时性的要求。
-
公开(公告)号:CN113011498A
公开(公告)日:2021-06-22
申请号:CN202110300341.0
申请日:2021-03-22
Applicant: 华南理工大学
Abstract: 本发明公开了一种基于彩色图像的特征点提取与匹配方法、系统及介质,其中方法包括以下步骤:获取多张彩色图像,将所述彩色图像转换为灰度图和HSV图像,并构建灰度图像金字塔和HSV彩色图像金字塔;在所述灰度图像金字塔的每一层的灰度图中提取关键点,以及获取每个所述关键点的方向;根据所述HSV彩色图像金字塔获取与所述关键点对应的描述子,根据所述关键点和所述描述子获得特征点;获得特征点后,对多张彩色图像中的两张彩色图像进行特征点匹配。本发明通过获取描述子,使特征点包含了图像的颜色信息,提高了特征点的信息丰富度,可广泛应用于计算机视觉领域。
-
公开(公告)号:CN113011498B
公开(公告)日:2023-09-26
申请号:CN202110300341.0
申请日:2021-03-22
Applicant: 华南理工大学
IPC: G06V10/74 , G06V10/75 , G06V10/771 , G06V10/46 , G06V10/56
Abstract: 本发明公开了一种基于彩色图像的特征点提取与匹配方法、系统及介质,其中方法包括以下步骤:获取多张彩色图像,将所述彩色图像转换为灰度图和HSV图像,并构建灰度图像金字塔和HSV彩色图像金字塔;在所述灰度图像金字塔的每一层的灰度图中提取关键点,以及获取每个所述关键点的方向;根据所述HSV彩色图像金字塔获取与所述关键点对应的描述子,根据所述关键点和所述描述子获得特征点;获得特征点后,对多张彩色图像中的两张彩色图像进行特征点匹配。本发明通过获取描述子,使特征点包含了图像的颜色信息,提高了特征点的信息丰富度,可广泛应用于计算机视觉领域。
-
公开(公告)号:CN113327295A
公开(公告)日:2021-08-31
申请号:CN202110680313.6
申请日:2021-06-18
Applicant: 华南理工大学
Abstract: 本发明公开了一种基于级联全卷积神经网络的机器人快速抓取方法,该方法包括:S1、基于编码‑解码的网络结构设计一种机器人最佳抓取位置和角度的级联全卷积神经网络;S2、Conell数据集增强,后输入设计好的神经网络中训练;S3、对深度摄像头进行标定;S4、根据训练好的模型对标定后的摄像头获得的深度信息获取最合适的抓取位置和角度;S5、根据最佳的抓取策略,进行机器人抓取。本发明提出了一种基于全卷积神经网络模型的抓取方法,通过深度图像获得最佳抓取策略,实现了端到端的机器人抓取,提高了抓取的精度和速度。
-
公开(公告)号:CN113888631B
公开(公告)日:2024-05-24
申请号:CN202111017083.1
申请日:2021-08-31
Applicant: 华南理工大学
IPC: G06T7/73 , G06N3/0464 , G06N3/08 , G06T7/11
Abstract: 本发明公开了一种基于目标裁剪区域的指定物体抓取方法,包括以下步骤:S1、采集实际抓取场景的RGB图像和深度图像;S2、对采集的深度图像和RGB图像进行对齐和裁剪操作;S3、将处理后的RGB图像数据流输入目标检测网络,输出当前场景中抓取物体位置和区域;S4、将处理后的深度图像输出训练好的全卷积神经网络中,得到整个场景的抓取位姿;S5、根据目标检测的结果和整个场景的抓取位姿生成指定目标物体的抓取位姿;S6、将抓取位姿转化为机械臂操作空间的抓取位姿;S7、设置机器人抓取轨迹并完成抓取。本发明能够完成在多目标的场景中对指定的目标物体进行抓取操作,建立的级联全卷积神经网络具有轻量并准确率高的优点。
-
公开(公告)号:CN116276971A
公开(公告)日:2023-06-23
申请号:CN202310075888.4
申请日:2023-02-07
Applicant: 华南理工大学
IPC: B25J9/16
Abstract: 本发明公开了一种V‑REP仿真环境下UR5机器人抓取控制方法,包括以下步骤:S1、采集仿真环境中机械臂末端相机模块的各类数据;S2、对图像进行压缩并传输至Android端显示,创建摇杆控件和滑块控件;S3、在Android端通过摇杆控件和滑块控件,采集操作指令,将采集到的操作指令数据进行编码并传输至PC端,PC端接收控制指令并解码为六自由度运动信息;S4、建立机械臂DH模型,根据运动指令逆解出各个关节的速度;S5、通过配置角度、角加速度的范围,对步骤S4得出的关节速度进行约束,从而得到更加真实的仿真效果;S6、将位置信息编码成仿真环境要求的格式,并发送至仿真环境中进行控制。
-
公开(公告)号:CN113808205A
公开(公告)日:2021-12-17
申请号:CN202111017087.X
申请日:2021-08-31
Applicant: 华南理工大学
Abstract: 本发明公开了一种基于检测约束的快速动态目标抓取方法,包括以下步骤:S1建立快速目标检测方法;S2、用迁移学习的方法对S1中的网络进行训练;S3、使用S2中训练好的模型,基于摄像头获取的RGB图像数据流进行目标检测,实现对真实环境中抓取物体的分类与标注;S4、设计物体边界框矫正策略,减小图像中标注的边界框与真实边界框的偏差;S5、利用深度信息算法估计目标物体抓取点的深度值;S6、将抓取位姿映射到机器人操作空间中的三维抓取位姿。本发明提出了一种基于检测约束的快速动态目标抓取方法,并且建立MobileNetV3融合YOLOV4检测方法的检测算法,可以满足抓取操作对实时性的要求。
-
-
-
-
-
-
-