-
公开(公告)号:CN116088690A
公开(公告)日:2023-05-09
申请号:CN202310152842.8
申请日:2023-02-22
Applicant: 桂林电子科技大学
Abstract: 本发明公开了一种基于深度学习的多人交互式手势识别系统。包括步骤:摄像头采集用户手势控制图像,启动一个新线程运行手势识别,将获取到的识别结果传到用户界面;Mediapipe采用机器学习管道对上个步骤中采集到的用户手势控制图像推断手的3D界标,在由手掌检测器定义的裁剪图像区域上运行并返回高保真3D手部关键点;用逻辑用语通过步骤2中高保真3D手部关键点判断手的数量及左右,继而用二维矩阵储存坐标信息,从而获取指关节坐标的时间序列及预处理;GRU网络结构将步骤3中指关节坐标转换为语义信息,经由分类网络加工处理;手势输出最终在服务端实现交互,信息在界面显示。本发明有效利用手掌动作的姿势信息,大大提高了手势识别的准确性。