公开(公告)号：CN115147676A

公开(公告)日：2022-10-04

申请号：CN202210724589.4

申请日：2022-06-23

Applicant: 浙江工商大学

Inventor： 董建锋 ,  孙圣凯 ,  陈书界 ,  王勋 ,  刘宝龙 ,  蔡佳航 ,  杨文武

IPC: G06V10/774 ,  G06V10/74 ,  G06V10/82 ,  G06V40/20 ,  G06N3/04

Abstract: 本发明公开了一种基于层级多视角的自监督动作识别方法及装置，该方法包括：先是对比学习的预训练阶段，原始数据通过数据增强和重组分别通过key编码器和query编码器提取特征构造正负样本。特征提取时通过视角生成模块得到不同尺度的子视角，分别通过Transformer编码、聚合、拼接后得到时间特征、空间特征以及两者的组合：时空特征。时空特征通过对比损失达到拉近正样本、推远负样本的目标以获取特征表示能力。通过时间特征和空间特征间的一致性损失拉近不同视角间的特征距离。本发明是骨架动作识别领域一种新颖的层级化视角的建模方法，可以深入挖掘不同视角间的互补信息，能够实现比现有方法性能更好的骨架动作识别。