公开(公告)号：CN111709295A

公开(公告)日：2020-09-25

申请号：CN202010419695.2

申请日：2020-05-18

Applicant: 武汉工程大学

Inventor： 程志宇 ,  徐国庆 ,  许犇 ,  张岚斌 ,  付尧 ,  罗京

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供一种基于SSD-MobileNet的实时手势检测和识别方法及系统，其中，一种基于SSD-MobileNet的实时手势检测和识别系统包括数据处理单元，用于接收原始egohands视频数据集，原始egohands视频数据集包括多帧原始数据集图像，还用于对多帧原始数据集图像进行扩充处理，建立扩充数据集；SSD-MobileNet手部数据检测模型，包括SSD网络及Mobilenet网络，用于手势图像提取，使用扩充数据集进行训练及优化，还用于对自建的复杂背景下的数字手势数据集中的图像进行手势图像提取，获取手势识别数据集；改进的CNN的手势识别模型用Ghost模块层代替传统卷积层，对手势图像进行手势识别，使用手势识别数据集进行训练及优化。本发明引入SSD-MobileNet和改进的CNN的手势识别模型相结合，具有提高手势检测和识别的工作效率的优点。