公开(公告)号：CN115439746A

公开(公告)日：2022-12-06

申请号：CN202211063998.0

申请日：2022-09-01

Applicant: 上海大学

Inventor： 张健滔 ,  翟彬梁 ,  何斌 ,  杨乐平 ,  刘士辉

IPC: G06V20/10 ,  G06V10/82 ,  G06V10/764 ,  G06V10/25 ,  G06T17/00 ,  G06T7/80 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供一种基于深度学习的番茄茎秆识别与三维重建方法，包括：利用相机在番茄温室里从不同位置多角度采集番茄茎秆图像，建立番茄茎秆图像数据集；进行彩色相机和深度相机的参数标定；利用MaskRCNN卷积神经网络训练得到较好的识别效果，并利用训练好的MaskRCNN模型识别番茄彩色图像，得到茎秆段的最小外接矩形的像素顶点坐标；利用深度图像和彩色图像匹配，获取基于相机坐标系的顶点坐标和中心三维坐标，并计算得到茎秆的半径r和高度h；将基于相机坐标的茎秆坐标转换为基于机器人基坐标系表示，并利用顶点坐标求解茎秆的空间姿态RPY角度；将空间姿态角度转换为ROS四元素，并根据番茄茎秆的半径r和高度h、中心三维坐标完成番茄茎秆障碍物的创建。

公开(公告)号：CN114193486A

公开(公告)日：2022-03-18

申请号：CN202111370348.6

申请日：2021-11-18

Applicant: 上海大学

Inventor： 张健滔 ,  杨乐平 ,  何斌 ,  翟彬梁 ,  刘士辉

IPC: B25J15/00 ,  B25J13/08 ,  A01D46/30

Abstract: 本发明涉及一种果蔬采摘机器人气动感知末端执行器，包括法兰盘、滑轨、支架、长柔性手指、短柔性手指、压阻传感器、压电传感器以及各部件间的连接零件等。本发明的柔性手指包括气流道、分流道、进气口和柔性指节，气泵通过气管接入柔性手指的气腔内，经过气流道连通分流道，通过气压可以控制柔性指节实现向上、向下弯曲，并对果蔬进行抓取和释放。末端执行器的柔性手指模块带有压电传感器和压阻传感器，可以通过电压和电阻反馈果蔬的硬度和采摘力。柔性手指采用硅胶材料制作，通过末端执行器的二指结构可以有效解决果蔬毗邻的问题，实现单个果蔬的无损采摘和稳定抓取。