公开(公告)号：CN112235569B

公开(公告)日：2024-03-29

申请号：CN202011086957.4

申请日：2020-10-12

Applicant: 国家计算机网络与信息安全管理中心 ,  中国科学院自动化研究所

Inventor： 李扬曦 ,  缪亚男 ,  王佩 ,  胡卫明 ,  李兵 ,  刘雨帆 ,  关俊洋

IPC: H04N19/107 ,  H04N19/109 ,  H04N19/11 ,  H04N19/124 ,  H04N19/139 ,  H04N19/91 ,  G06V20/40 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/08 ,  G06T7/207 ,  G06T7/246

Abstract: 本发明属于计算机视觉领域，具体涉及了一种基于H264压缩域的快速视频分类方法、系统及装置，旨在解决现有视频分类技术速度慢、模型复杂度高的问题。本发明包括：提取H264标准的视频的I帧、P帧和B帧数据；进行I帧的解码及P帧和B帧的熵解码，获得I帧图像及视频帧之间的运动矢量；分别构建高低时间分辨率模型，并通过时间尺度注意力模块建模不同时间分辨率的特征进行模型融合；基于I帧图像和帧之间的运动矢量，获取四个初步预测分类；进行四个初步预测分类的加权融合，获得最终的预测分类结果。本发明无需进行所有视频帧的全解码，模型参数量小，可以有效提高视频分类速度，并能很好地识别视频中快慢不同的运动信息，实用性更强。

公开(公告)号：CN112235569A

公开(公告)日：2021-01-15

申请号：CN202011086957.4

申请日：2020-10-12

Applicant: 国家计算机网络与信息安全管理中心 ,  中国科学院自动化研究所

Inventor： 李扬曦 ,  缪亚男 ,  王佩 ,  胡卫明 ,  李兵 ,  刘雨帆 ,  关俊洋

IPC: H04N19/107 ,  H04N19/109 ,  H04N19/11 ,  H04N19/124 ,  H04N19/139 ,  H04N19/91 ,  G06K9/00 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08 ,  G06T7/207 ,  G06T7/246

Abstract: 本发明属于计算机视觉领域，具体涉及了一种基于H264压缩域的快速视频分类方法、系统及装置，旨在解决现有视频分类技术速度慢、模型复杂度高的问题。本发明包括：提取H264标准的视频的I帧、P帧和B帧数据；进行I帧的解码及P帧和B帧的熵解码，获得I帧图像及视频帧之间的运动矢量；分别构建高低时间分辨率模型，并通过时间尺度注意力模块建模不同时间分辨率的特征进行模型融合；基于I帧图像和帧之间的运动矢量，获取四个初步预测分类；进行四个初步预测分类的加权融合，获得最终的预测分类结果。本发明无需进行所有视频帧的全解码，模型参数量小，可以有效提高视频分类速度，并能很好地识别视频中快慢不同的运动信息，实用性更强。

公开(公告)号：CN115909479A

公开(公告)日：2023-04-04

申请号：CN202211289157.1

申请日：2022-10-20

Applicant: 中国科学院自动化研究所

Inventor： 罗冠 ,  关俊洋 ,  刘雨帆 ,  李兵 ,  胡卫明

IPC: G06V40/20 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06V20/40

Abstract: 本发明提供一种人体行为识别方法、装置、电子设备及可读存储介质，其中人体行为识别方法包括：从压缩视频数据中提取压缩域信息，压缩域信息中包括多个I帧、残差以及运动矢量；将各I帧及各目标残差所对应的深层特征进行融合处理，得到各I帧对应的局部时空特征；将相邻两个局部时空特征进行融合处理，得到压缩视频数据对应的全局时空特征；基于全局时空特征、运动矢量及残差，确定压缩视频数据对应的目标特征，并基于目标特征确定压缩视频数据对应的人体行为识别结果。通过将各I帧及各目标残差进行融合，能得到表达能力更强的局部时空特征以及全局时空特征，基于全局时空特征、运动矢量及残差进行人体行为识别，能够提高人体行为识别的准确率。