公开(公告)号：CN114550308B

公开(公告)日：2022-07-05

申请号：CN202210424128.5

申请日：2022-04-22

Applicant: 成都信息工程大学

Inventor： 邹茂扬 ,  万辉帆 ,  潘光晖

IPC: G06V40/20 ,  G06V10/42 ,  G06V10/44 ,  G06V10/77 ,  G06V10/80 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于时空图的人体骨骼动作识别方法，包括以下步骤：S1、获取骨骼数据，并对所述骨骼数据进行预处理，得到二阶数据信息；S2、将二阶数据信息输入多分支网络，得到骨骼数据提取信息；S3、将骨骼数据提取信息输入时空特征提取网络，得到骨骼数据的时空特征信息；S4、将骨骼数据的时空特征信息依次输入全局平均池化层和全连接层，得到置信度最高的动作，完成人体骨骼动作识别。本发明设计了时空图模块引入Transformer结构，可以更好捕捉若干帧内全局的时空关系，利用其注意力机制自适应的学习跨帧节点间关联性的强度，并且利用图卷积根据固定图结构捕捉局部的空间特征。两者信息相互补充，从而使得信息能够直接的跨时空交流。

公开(公告)号：CN114550308A

公开(公告)日：2022-05-27

申请号：CN202210424128.5

申请日：2022-04-22

Applicant: 成都信息工程大学

Inventor： 邹茂扬 ,  万辉帆 ,  潘光晖

IPC: G06V40/20 ,  G06V10/42 ,  G06V10/44 ,  G06V10/77 ,  G06V10/80 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于时空图的人体骨骼动作识别方法，包括以下步骤：S1、获取骨骼数据，并对所述骨骼数据进行预处理，得到二阶数据信息；S2、将二阶数据信息输入多分支网络，得到骨骼数据提取信息；S3、将骨骼数据提取信息输入时空特征提取网络，得到骨骼数据的时空特征信息；S4、将骨骼数据的时空特征信息依次输入全局平均池化层和全连接层，得到置信度最高的动作，完成人体骨骼动作识别。本发明设计了时空图模块引入Transformer结构，可以更好捕捉若干帧内全局的时空关系，利用其注意力机制自适应的学习跨帧节点间关联性的强度，并且利用图卷积根据固定图结构捕捉局部的空间特征。两者信息相互补充，从而使得信息能够直接的跨时空交流。