公开(公告)号：CN119541052A

公开(公告)日：2025-02-28

申请号：CN202411684501.6

申请日：2024-11-22

Applicant: 北京信息科技大学

Inventor： 于明鑫 ,  娄红凯 ,  祝连庆

IPC: G06V40/20 ,  G06V20/40 ,  G06V10/40 ,  G06V10/80 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/049 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明属于手势识别领域，提供了一种基于多头注意力与时空特征融合的手势识别方法及系统，利用深度学习的框架搭建神经网络模型结构，导入包含时序特征的手部关节点的手势序列，利用提出的手势识别算法对手势序列数据进行特征提取、位置编码与注意力计算、特征融合与特征映射，输出更高准确率的手势分类结果。采用新的网络拓扑结构并利用局部全局多头注意力模块在时空两个维度捕捉空间和时间上的复杂关系，解决了目前模型在应对复杂时序数据时捕捉短期和长期依赖关系不充分的问题，使得融合算法在处理不同类型的手势序列数据时更加灵活高效。