公开(公告)号：CN112801988B

公开(公告)日：2023-04-18

申请号：CN202110141847.1

申请日：2021-02-02

Applicant: 上海交通大学

Inventor： 苟铭浩 ,  方浩树 ,  王晨曦 ,  卢策吾

IPC: G06T7/00 ,  G06T7/246 ,  G06T7/73 ,  G06T7/80 ,  G06V10/774 ,  G06V10/82 ,  G06N3/08

Abstract: 一种基于RGBD和深度神经网络的物体抓取位姿检测方法，将RGB图片通过角度视角网络转换为角度视角热度图，再将RGB图片对应的深度图片与转换得到的角度视角热度图通过碰撞和空抓检测系统生成对应的抓取七维位姿，即平行夹具中心点的三维平移坐标、平行夹具的三维旋转坐标和平行夹具的张开宽度。本发明通过融合RGB图片和深度信息保证生成的平行夹爪自由度大于等于六维，提高检测准确程度，当应用在实际工业场景时可以有效迅速地将一个由若干物体组成的混乱场景利用机械臂及配套夹具清空。实施例如利用机械夹爪逐个抓取图一中所拍摄场景中的所有物体。

公开(公告)号：CN111652928B

公开(公告)日：2023-12-15

申请号：CN202010390619.3

申请日：2020-05-11

Applicant: 上海交通大学

Inventor： 王晨曦 ,  方浩树 ,  苟铭浩 ,  卢策吾

IPC: G06T7/70 ,  G06V20/64 ,  G06V10/82 ,  G06N3/0464 ,  B25J9/16 ,  B25J19/04

Abstract: 一种三维点云中物体抓取位姿检测方法，通过整理样本图像中的物体抓取位姿作为训练集，对端到端物体抓取位姿检测模型进行训练，再对待测的三维点云数据进行识别，得到候选抓取位姿分数从而实现物体抓取位姿检测。本发明通过端到端的全场景训练测试，将点云中整体与局部的特征关系紧密联系起来，在优化运行速度的同时提高了检测准确程度。

公开(公告)号：CN114038058A

公开(公告)日：2022-02-11

申请号：CN202111305695.0

申请日：2021-11-05

Applicant: 上海交通大学

Inventor： 唐宏阳 ,  方浩树 ,  李杰锋 ,  卢策吾

IPC: G06V40/20 ,  G06V10/25 ,  G06V20/80 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06V10/74 ,  G06N3/04 ,  G06N3/08

Abstract: 一种基于姿态引导重识别特征的并行人体姿态检测跟踪方法，通过输入视频并检测人体区域后统一尺寸，然后检测人体姿态并提取姿态引导增强的重识别特征，最后利用多语义信息进行前后帧匹配，完成人体姿态检测跟踪。本发明能够同时输出姿态检测结果和人体重识别特征，其中人体重识别特征又可以利用人体姿态进行引导增强，利用包括重识别特征、人体检测框和姿态等多种语义信息进行跟踪匹配。

公开(公告)号：CN112801988A

公开(公告)日：2021-05-14

申请号：CN202110141847.1

申请日：2021-02-02

Applicant: 上海交通大学

Inventor： 苟铭浩 ,  方浩树 ,  王晨曦 ,  卢策吾

IPC: G06T7/00 ,  G06T7/246 ,  G06T7/73 ,  G06T7/80 ,  G06K9/62 ,  G06N3/08

Abstract: 一种基于RGBD和深度神经网络的物体抓取位姿检测方法，将RGB图片通过角度视角网络转换为角度视角热度图，再将RGB图片对应的深度图片与转换得到的角度视角热度图通过碰撞和空抓检测系统生成对应的抓取七维位姿，即平行夹具中心点的三维平移坐标、平行夹具的三维旋转坐标和平行夹具的张开宽度。本发明通过融合RGB图片和深度信息保证生成的平行夹爪自由度大于等于六维，提高检测准确程度，当应用在实际工业场景时可以有效迅速地将一个由若干物体组成的混乱场景利用机械臂及配套夹具清空。实施例如利用机械夹爪逐个抓取图一中所拍摄场景中的所有物体。

公开(公告)号：CN111652928A

公开(公告)日：2020-09-11

申请号：CN202010390619.3

申请日：2020-05-11

Applicant: 上海交通大学

Inventor： 王晨曦 ,  方浩树 ,  苟铭浩 ,  卢策吾

IPC: G06T7/70 ,  G06K9/00 ,  G06N3/04 ,  B25J9/16 ,  B25J19/04

Abstract: 一种三维点云中物体抓取位姿检测方法，通过整理样本图像中的物体抓取位姿作为训练集，对端到端物体抓取位姿检测模型进行训练，再对待测的三维点云数据进行识别，得到候选抓取位姿分数从而实现物体抓取位姿检测。本发明通过端到端的全场景训练测试，将点云中整体与局部的特征关系紧密联系起来，在优化运行速度的同时提高了检测准确程度。

公开(公告)号：CN114038058B

公开(公告)日：2024-10-15

申请号：CN202111305695.0

申请日：2021-11-05

Applicant: 上海交通大学

Inventor： 唐宏阳 ,  方浩树 ,  李杰锋 ,  卢策吾

IPC: G06V40/20 ,  G06V10/25 ,  G06V20/80 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06V10/74 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/084 ,  G06N3/082

Abstract: 一种基于姿态引导重识别特征的并行人体姿态检测跟踪方法，通过输入视频并检测人体区域后统一尺寸，然后检测人体姿态并提取姿态引导增强的重识别特征，最后利用多语义信息进行前后帧匹配，完成人体姿态检测跟踪。本发明能够同时输出姿态检测结果和人体重识别特征，其中人体重识别特征又可以利用人体姿态进行引导增强，利用包括重识别特征、人体检测框和姿态等多种语义信息进行跟踪匹配。