公开(公告)号：CN117576783A

公开(公告)日：2024-02-20

申请号：CN202311747891.2

申请日：2023-12-18

Applicant: 东北林业大学

Inventor： 刘正轩 ,  纪明宇 ,  张蘅 ,  周有备 ,  傅立诚 ,  马泽宇

IPC: G06V40/20 ,  G06V20/40 ,  G06V10/44 ,  G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06N3/0442 ,  G06N3/045 ,  G06N3/048 ,  G06N3/084

Abstract: 本发明涉及基于手部关键点与双层双向LSTM网络的动态手势识别方法，包括以下步骤：S1、获取手部关键点数据集，得到输入序列；S2、将上一步获取的输入序列进行时间翻转数据增强处理生成翻转序列，将输入序列和翻转序列作为网络模型输入层；S3、构建双层双向LSTM网络模型进行手语动态识别；S4、使用注意力层对翻转反向输出序列进行处理，分别计算正向和反向的注意力加权输出，拼接正向和反向的注意力输出；S5、使用全连接层将注意力加权的输出映射到输出维度。本申请对手语视频数据集进行处理采集得到手部关键点，构建双层双向LSTM网络模型对关键点信息进行手语识别，充分挖掘和利用关键点信息，提高手语识别的速度和准确率。