公开(公告)号：CN115661064A

公开(公告)日：2023-01-31

申请号：CN202211287435.X

申请日：2022-10-20

Applicant: 大连理工大学

Inventor： 苏铁明 ,  李鹏博 ,  梁琛 ,  徐志祥 ,  王宣平 ,  高航

IPC: G06T7/00 ,  G06N3/0464 ,  G06N3/08 ,  G06V10/764 ,  G06V10/774 ,  G06V10/82

Abstract: 本发明提供一种基于图像和点云结合的货箱识别方法，包括：利用深度相机采集货箱图片和点云，并对采集的货箱图片进行处理，形成训练集；基于深度学习网络Mask R‑CNN对训练集中的图片进行训练，得到权重；设置好相机与工控机IPC之间的通信接口，连接相机，利用得到的权重，预测在工作中输入的新的货箱图片，得到每个货箱的掩码，输出掩码的像素坐标；根据像素坐标，计算点云中对应的点的索引范围；根据索引范围，对点云进行区域生长分割，并根据点云分割结果判断是否破损严重。本发明可以为完好货箱和破损严重货箱进行不同方式抓取和后续处理提供重要依据，这种方法可以有效的应对类似冷链集装箱中存在一定的破损货箱的识别拆垛。

公开(公告)号：CN115582827B

公开(公告)日：2024-09-13

申请号：CN202211287436.4

申请日：2022-10-20

Applicant: 大连理工大学

Inventor： 苏铁明 ,  梁琛 ,  李鹏博 ,  徐志祥 ,  高航 ,  王宣平

IPC: B25J9/08 ,  B25J15/08 ,  B25J19/02 ,  B65G47/90

Abstract: 本发明提供一种基于2D和3D视觉定位的卸货机器人抓取方法，包括预先存储货箱的模板点云信息以及货箱的各面二维图像信息；获取堆垛的3D点云数据，并根据3D点云数据以及云台的控制角度，确定集装箱内堆垛在机器人坐标系下的3D点云位置信息；获取堆垛表面的2D图像，利用深度学习实例分割算法，确定货箱在2D图像中的像素位置以及货箱种类；根据货箱在2D图像中的像素位置，在3D点云中选择对应的点云数据，结合货箱种类以及货箱模板点云，经过点云配准，确定货箱的姿态信息以及位置信息，并生成机械手抓取货箱的抓取信息。本发明解决了普通平面相机以及3D相机视角较小以及3D点云分割集装箱杂乱、紧密货箱效果较差的问题，提高了集装箱自动化卸货的可靠性。

公开(公告)号：CN115582827A

公开(公告)日：2023-01-10

申请号：CN202211287436.4

申请日：2022-10-20

Applicant: 大连理工大学

Inventor： 苏铁明 ,  梁琛 ,  李鹏博 ,  徐志祥 ,  高航 ,  王宣平

IPC: B25J9/08 ,  B25J15/08 ,  B25J19/02 ,  B65G47/90

Abstract: 本发明提供一种基于2D和3D视觉定位的卸货机器人抓取方法，包括预先存储货箱的模板点云信息以及货箱的各面二维图像信息；获取堆垛的3D点云数据，并根据3D点云数据以及云台的控制角度，确定集装箱内堆垛在机器人坐标系下的3D点云位置信息；获取堆垛表面的2D图像，利用深度学习实例分割算法，确定货箱在2D图像中的像素位置以及货箱种类；根据货箱在2D图像中的像素位置，在3D点云中选择对应的点云数据，结合货箱种类以及货箱模板点云，经过点云配准，确定货箱的姿态信息以及位置信息，并生成机械手抓取货箱的抓取信息。本发明解决了普通平面相机以及3D相机视角较小以及3D点云分割集装箱杂乱、紧密货箱效果较差的问题，提高了集装箱自动化卸货的可靠性。