公开(公告)号：CN114202801B

公开(公告)日：2025-01-14

申请号：CN202111398259.2

申请日：2021-11-19

Applicant: 杭州电子科技大学

Inventor： 佘青山 ,  陈炫琦 ,  武薇 ,  高云园 ,  范影乐

IPC: G06V40/20 ,  G06V10/764 ,  G06V10/80 ,  G06V10/44 ,  G06V10/82 ,  G06N3/042 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/0442 ,  G06N3/084 ,  G06N3/048

Abstract: 本发明公开一种基于注意力引导空域图卷积简单循环单元的手势识别方法。本发明首先，将空域图卷积嵌入到简单循环单元(SRU)的门结构中，使具有高速并行计算能力的SRU能对复杂手势的时域与空域信息进行建模。其次，引入一种指关节注意力引导模块，使更重要的指关节具有更高的关注度。然后，引入一种注意力增强图丢弃的正则化方法，缓解了手势数据过拟合的弊端。本发明对精细动态手势，在具有较高的识别准确率的同时保持优良的识别计算效率，能够在人机交互、虚拟现实、手语翻译等领域具有广阔的应用前景。

公开(公告)号：CN115880724A

公开(公告)日：2023-03-31

申请号：CN202211628762.7

申请日：2022-12-17

Applicant: 杭州电子科技大学

Inventor： 佘青山 ,  陈炫琦 ,  马玉良 ,  席旭刚

IPC: G06V40/10 ,  G06T3/40 ,  G06V10/80 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明涉及一种基于RGB图像的轻量化三维手部姿态估计方法，首先，使用多个sandglass残差块串联堆叠，用于进行局部的特征建模。其次，在部分sandglass残差块之后，对特征进行“展开”操作，并以Transformer块结构进行全局的特征建模，再对特征进行“折叠”，并进行特征融合。然后，在Transformer块中引入可分离自注意力机制，降低自注意力的计算复杂度。最后，将特征图通过卷积得到二维手部姿态热图，两者拼接后通过卷积得到关节向量图，再次拼接后再通过卷积得到三维手部姿态热图，最终实现三维手部姿态估计。本发明从RGB图像中直接估计三维手部姿态，并且能够在具有较高的估计精度的同时保持优良的计算效率，能够在人机交互、虚拟现实、手势识别等领域具有广阔的应用前景。

公开(公告)号：CN114202801A

公开(公告)日：2022-03-18

申请号：CN202111398259.2

申请日：2021-11-19

Applicant: 杭州电子科技大学

Inventor： 佘青山 ,  陈炫琦 ,  武薇 ,  高云园 ,  范影乐

IPC: G06V40/20 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开一种基于注意力引导空域图卷积简单循环单元的手势识别方法。本发明首先，将空域图卷积嵌入到简单循环单元(SRU)的门结构中，使具有高速并行计算能力的SRU能对复杂手势的时域与空域信息进行建模。其次，引入一种指关节注意力引导模块，使更重要的指关节具有更高的关注度。然后，引入一种注意力增强图丢弃的正则化方法，缓解了手势数据过拟合的弊端。本发明对精细动态手势，在具有较高的识别准确率的同时保持优良的识别计算效率，能够在人机交互、虚拟现实、手语翻译等领域具有广阔的应用前景。