公开(公告)号：CN116486484A

公开(公告)日：2023-07-25

申请号：CN202310455332.8

申请日：2023-04-25

Applicant: 东南大学

Inventor： 龙治宇 ,  王雁刚 ,  刘星佑 ,  李治

IPC: G06V40/20 ,  G06V40/10 ,  G06V40/16 ,  G06V20/40 ,  G06V10/40 ,  G06V10/764 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0442 ,  G06N3/045 ,  G06N3/0464

Abstract: 本发明公开了一种融合手部骨骼和面部表情特征的手语识别方法，本发明的方法首先将表示手语含义的视频序列进行抽帧；再对抽取的RGB图像提取手部骨骼关节点在世界坐标系中的三维坐标，并通过坐标平移和旋转标准化为手部坐标系下三维坐标，得以更准确描述手部姿态；然后裁剪出各帧的脸部区域，并进行表情识别，得到关于各类表情的置信度信息并提取各帧手部区域的图像；再将手部区域图像输入卷积神经网络中学习图像的空间特征，将其输出特征信息与对应的手部骨骼关节点和表情信息进行拼接；最后将拼接的特征信息通过全连接层再输入到递归神经网络中学习时序特征。本发明有效解决了现有手语识别方法所存在的准确性不高、鲁棒性较差的问题。