公开(公告)号：CN117809381B

公开(公告)日：2024-05-14

申请号：CN202410232129.9

申请日：2024-03-01

Applicant: 鹏城实验室

Inventor： 余柳涛 ,  马征宇 ,  周陈林 ,  叶钰敏 ,  黄力炜 ,  张晗 ,  周晖晖 ,  田永鸿

IPC: G06V40/20 ,  G06V20/40 ,  G06V10/44 ,  G06V10/62 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0442 ,  G06N3/084 ,  G06N3/049

Abstract: 本申请实施例提供视频动作分类方法、装置、设备和存储介质，涉及图像处理技术领域。该方法依次在每个时间步选取目标视频帧，调用依次级联的局部时空特征模块对目标视频帧进行脉冲编码后，再进行特征提取得到局部时空特征，调用依次级联的全局时空特征模块对局部时空特征进行脉冲编码后，再进行特征提取得到全局时空特征，利用循环神经网络模块从全局时空特征中提取分类时空特征，对分类时空特征进行分类预测得到视频动作分类结果。在特征提取过程中对输入的数据进行脉冲编码，将特征提取过程中乘法运算变为加法运算，降低网络处理过程的运算复杂度，尤其是在长时视频的场景下，能够减少运算时间，提升运算效率。

公开(公告)号：CN117809381A

公开(公告)日：2024-04-02

申请号：CN202410232129.9

申请日：2024-03-01

Applicant: 鹏城实验室

Inventor： 余柳涛 ,  马征宇 ,  周陈林 ,  叶钰敏 ,  黄力炜 ,  张晗 ,  周晖晖 ,  田永鸿

IPC: G06V40/20 ,  G06V20/40 ,  G06V10/44 ,  G06V10/62 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0442 ,  G06N3/084 ,  G06N3/049

Abstract: 本申请实施例提供视频动作分类方法、装置、设备和存储介质，涉及图像处理技术领域。该方法依次在每个时间步选取目标视频帧，调用依次级联的局部时空特征模块对目标视频帧进行脉冲编码后，再进行特征提取得到局部时空特征，调用依次级联的全局时空特征模块对局部时空特征进行脉冲编码后，再进行特征提取得到全局时空特征，利用循环神经网络模块从全局时空特征中提取分类时空特征，对分类时空特征进行分类预测得到视频动作分类结果。在特征提取过程中对输入的数据进行脉冲编码，将特征提取过程中乘法运算变为加法运算，降低网络处理过程的运算复杂度，尤其是在长时视频的场景下，能够减少运算时间，提升运算效率。