公开(公告)号：CN112199994B

公开(公告)日：2023-05-12

申请号：CN202010916742.4

申请日：2020-09-03

Applicant: 中国科学院信息工程研究所

Inventor： 薛聪 ,  吴彦坤 ,  向继 ,  查达仁 ,  王雷

IPC: G06V40/20 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/044 ,  G06N3/08

Abstract: 本发明涉及一种实时检测RGB视频中的3D手与未知物体交互的方法和装置。该方法的步骤包括：以视频帧作为输入训练卷积神经网络，卷积神经网络预测每帧图像的3D手姿势、6D物体姿态、手部动作和物体类别；以卷积神经网络检测到的3D手姿势、6D物体姿态作为输入训练交互循环神经网络，循环神经网络利用视频中的时序信息得出视频中的手与物体的交互类别；将待检测视频输入训练完成的卷积神经网络和交互循环神经网络，得到视频中每帧图像的3D手姿势、6D物体姿态、手部动作、物体类别和视频中手与物体的交互动作。本发明不需要深度照片或真实物体姿态坐标作为输入，提升了手部动作识别准确率，大大提升了识别范围，更方便应用于生活中。

公开(公告)号：CN112199994A

公开(公告)日：2021-01-08

申请号：CN202010916742.4

申请日：2020-09-03

Applicant: 中国科学院信息工程研究所

Inventor： 薛聪 ,  吴彦坤 ,  向继 ,  查达仁 ,  王雷

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明涉及一种实时检测RGB视频中的3D手与未知物体交互的方法和装置。该方法的步骤包括：以视频帧作为输入训练卷积神经网络，卷积神经网络预测每帧图像的3D手姿势、6D物体姿态、手部动作和物体类别；以卷积神经网络检测到的3D手姿势、6D物体姿态作为输入训练交互循环神经网络，循环神经网络利用视频中的时序信息得出视频中的手与物体的交互类别；将待检测视频输入训练完成的卷积神经网络和交互循环神经网络，得到视频中每帧图像的3D手姿势、6D物体姿态、手部动作、物体类别和视频中手与物体的交互动作。本发明不需要深度照片或真实物体姿态坐标作为输入，提升了手部动作识别准确率，大大提升了识别范围，更方便应用于生活中。