公开(公告)号：CN114926900A

公开(公告)日：2022-08-19

申请号：CN202210532569.7

申请日：2022-05-10

Applicant: 电子科技大学

Inventor： 程建 ,  夏子瀛 ,  刘思宇 ,  侯琴 ,  吴雨恒

IPC: G06V40/20 ,  G06V20/40 ,  G06V10/764 ,  G06V10/82 ,  G06V10/774 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明属于视频处理技术领域，具体涉及一种前背景分离的人体动作在线检测方法，本发明包括：采集包含人体动作的视频数据并做时序标注；对原始视频数据进行预处理生成数据集；构建基于I3D的骨干网络进行特征提取；构建特征映射模块，设计基于特征模长的对比损失函数，对前背景特征进行初次分离；构建可学习的前景记忆特征与互注意力模块，计算特征序列元素与前景的相似性以分离前背景；构建基于自注意力机制的时序推理器，结合前背景分离结果对特征序列编码；构建分类器基于编码结果完成对人体动作的在线检测。本发明在极少增加模型运算量的前提下，极大提高了待检测人体动作视频帧与历史视频帧之间的辨别性，进而提高人体动作在线检测的检测精度。

公开(公告)号：CN114926900B

公开(公告)日：2023-06-16

申请号：CN202210532569.7

申请日：2022-05-10

Applicant: 电子科技大学

Inventor： 程建 ,  夏子瀛 ,  刘思宇 ,  侯琴 ,  吴雨恒

IPC: G06V40/20 ,  G06V20/40 ,  G06V10/764 ,  G06V10/82 ,  G06V10/774 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08 ,  G06N5/04

Abstract: 本发明属于视频处理技术领域，具体涉及一种前背景分离的人体动作在线检测方法，本发明包括：采集包含人体动作的视频数据并做时序标注；对原始视频数据进行预处理生成数据集；构建基于I3D的骨干网络进行特征提取；构建特征映射模块，设计基于特征模长的对比损失函数，对前背景特征进行初次分离；构建可学习的前景记忆特征与互注意力模块，计算特征序列元素与前景的相似性以分离前背景；构建基于自注意力机制的时序推理器，结合前背景分离结果对特征序列编码；构建分类器基于编码结果完成对人体动作的在线检测。本发明在极少增加模型运算量的前提下，极大提高了待检测人体动作视频帧与历史视频帧之间的辨别性，进而提高人体动作在线检测的检测精度。