一种基于混合模型的轻量级视频行为识别方法

    公开(公告)号:CN115690916A

    公开(公告)日:2023-02-03

    申请号:CN202211392253.9

    申请日:2022-11-08

    Applicant: 江南大学

    Inventor: 王映辉 祝安磊

    Abstract: 本发明公开了一种基于混合模型的轻量级视频行为识别方法,属于计算机人工智能学科技术领域。本发明通过使用轻量级3D卷积模块与Transformer相结合的方式构建轻量级深度卷积网络并用于视频行为识别,使用3D卷积能够提取时空特征优点的同时,弥补了Transformer所缺乏的归纳偏置,使得网络能够加速收敛,使用Transformer对视频这种带有时间维度信息的任务进行长时间序列信息建模,二者相辅相成,通过在不同数据集下的对比,本发明的方法提高了模型的精度,降低了模型的训练难度,并保证了模型仍为轻量化网络的效果,提升了识别效率。

    一种基于轻量级时空联合网络的视频动作检测方法

    公开(公告)号:CN117475350A

    公开(公告)日:2024-01-30

    申请号:CN202311400763.0

    申请日:2023-10-26

    Applicant: 江南大学

    Inventor: 王映辉 祝安磊

    Abstract: 本发明公开了一种基于轻量级时空联合网络的视频动作检测方法,属于视频行为识别技术领域。本发明使用3D骨干网络和2D骨干网络来分别提取时序信息上的空间特征和时序特征,并通过将卷积与自注意力机制深度融合从而设计得到的轻量级时空特征融合模块来进一步充分融合并提取时空上的特征;此外使用仅含有2D卷积的时空平移模块TSM作为时空特征提取模块的骨干分支。本发明的YOWOv3模型不仅能够比最新的高效时空动作检测模型更加轻量,且精度也达到了同量级中的最佳表现;进一步优化而来的YOWOv3‑TSM不仅降低了训练的难度,并且在精度与速度上同时保持着优异的表现,在视频动作检测上取得了最佳的精度与速度的平衡。

    一种基于结构可重参数化的轻量级视频行为识别方法

    公开(公告)号:CN115661939A

    公开(公告)日:2023-01-31

    申请号:CN202211393103.X

    申请日:2022-11-08

    Applicant: 江南大学

    Inventor: 王映辉 祝安磊

    Abstract: 本发明公开了一种基于结构可重参数化的轻量级视频行为识别方法,属于计算机人工智能学科技术领域。本发明的轻量级视频行为识别方法,研究了基于3D卷积结构的轻量化问题,利用3D结构的重参数化使得网络能够继续使用3D卷积能够提取时空上的特征的优点,并且在经过重参数化后仍能达到轻量化网络模型的目的,最终能够以较小的参数量和计算量去部署模型和进行模型推理,即以较大的参数量去训练网络,在推理时以较小的模型进行推理并保证模型精度不会下降。3D结构的重参数化设计达到了轻量化了3D网络模型的目的并保持模型的精度不会过分丢失。利用本发明构建的轻量级网络进行视频行为识别,不仅可以提升识别效率,且同时保证了识别精度。

Patent Agency Ranking