公开(公告)号：CN118262411A

公开(公告)日：2024-06-28

申请号：CN202410418093.3

申请日：2024-04-08

Applicant: 中国科学院计算技术研究所

Inventor： 万之凡 ,  张杰 ,  胡蓝青 ,  邬书哲 ,  山世光

IPC: G06V40/20 ,  G06V20/40 ,  G06V10/82 ,  G06V10/80 ,  G06V10/764 ,  G06N3/0475 ,  G06N3/045 ,  G06N3/094 ,  G06N3/0464

Abstract: 本发明提出一种基于协同自监督视频表示学习的视频动作识别方法和装置，包括：将人物动作视频输入视频编码器进行特征提取，得到训练视频特征序列；通过图像编码器对人物动作视频的关键帧信息进行特征提取，得到图像特征序列，训练视频特征序列和图像特征序列通过对比学习损失约束，获取训练视频静态特征序列；融合训练视频静态特征序列和人物动作视频的人物动作特征序列，得到融合特征序列，根据融合特征序列重建恢复视频，根据恢复视频和人物动作视频构建损失函数训练图像编码器；在训练完成后的编码器后添加全连接层，得到中间动作识别模型，通过已标注动作类别标签的视频数据集微调中间动作识别模型，以完成动作识别任务。