公开(公告)号：CN117152788B

公开(公告)日：2024-10-01

申请号：CN202310512443.8

申请日：2023-05-08

Applicant: 东莞理工学院

Inventor： 任子良 ,  杨怀港 ,  袁华强 ,  魏文红 ,  赵铁柱

IPC: G06V40/10 ,  G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06N3/0895

Abstract: 本发明涉及骨架行为识别技术领域，涉及一种基于知识蒸馏与多任务自监督学习的骨架行为识别方法，包括：1)在数据预处理阶段，对采集到的骨架序列通过关节点级的身体分割，分为两个部分；2)在网络预训练阶段，设计出一种多任务自监督对比学习框架，多个任务通过编码网络分别提取特征表示信息，输入到跨任务双向知识蒸馏中，通过损失函数来调节样本间的相似度信息；同时保存权重参数；3)在网络微调阶段，根据权重参数对编码网络初始化，结合初始化的编码网络和微调分类网络，构建出动作识别模型；4)将待识别的骨架动作序列输入到训练完成的动作识别模型中，由微调分类网络输出分类预测结果。本发明能较佳地进行骨架行为识别。

公开(公告)号：CN117152788A

公开(公告)日：2023-12-01

申请号：CN202310512443.8

申请日：2023-05-08

Applicant: 东莞理工学院

Inventor： 任子良 ,  杨怀港 ,  袁华强 ,  魏文红 ,  赵铁柱

IPC: G06V40/10 ,  G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06N3/0895

Abstract: 本发明涉及骨架行为识别技术领域，涉及一种基于知识蒸馏与多任务自监督学习的骨架行为识别方法，包括：1)在数据预处理阶段，对采集到的骨架序列通过关节点级的身体分割，分为两个部分；2)在网络预训练阶段，设计出一种多任务自监督对比学习框架，多个任务通过编码网络分别提取特征表示信息，输入到跨任务双向知识蒸馏中，通过损失函数来调节样本间的相似度信息；同时保存权重参数；3)在网络微调阶段，根据权重参数对编码网络初始化，结合初始化的编码网络和微调分类网络，构建出动作识别模型；4)将待识别的骨架动作序列输入到训练完成的动作识别模型中，由微调分类网络输出分类预测结果。本发明能较佳地进行骨架行为识别。