公开(公告)号：CN117935121A

公开(公告)日：2024-04-26

申请号：CN202410148062.0

申请日：2024-02-01

Applicant: 东北大学

Inventor： 雷为民 ,  李漫 ,  李雨航 ,  张伟 ,  景庆阳 ,  张鹏

IPC: G06V20/40 ,  G06V20/52 ,  G06V40/20 ,  G06V10/44 ,  G06V10/62 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/0495

Abstract: 本发明设计了一种基于TSAFormer模型的人员异常行为识别系统及方法；系统由一个数据处理模块、L个相同的TSAFormer块以及一个异常行为分类模块组成；首先，数据处理模块从监控视频流中提取图像帧，并将其转换为图像块嵌入表示，行为序列建模模块对这些图像块沿通道维度进行时序位移，实现与前一帧时间戳交换部分内容的操作，获取到时空信息；然后，将时空信息送入时空特征提取模块，通过冻结预训练好的图像编码器vision transformer，并结合轻量化的适配器Adapter，捕捉到时空特征；然后，对其进行非线性变换，并应用注意力机制进行特征融合，得到交互特征；再利用分类器得到获得视频标签；本发明能够快速适应和识别复杂场景下的新的异常行为类型，具备强大的泛化能力。

公开(公告)号：CN117935122A

公开(公告)日：2024-04-26

申请号：CN202410148064.X

申请日：2024-02-01

Applicant: 东北大学

Inventor： 雷为民 ,  李雨航 ,  李漫 ,  张伟 ,  景庆阳 ,  张鹏

IPC: G06V20/40 ,  G06V20/52 ,  G06V40/20 ,  G06V10/42 ,  G06V10/44 ,  G06V10/62 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82

Abstract: 本发明公开了一种基于UniEVA模型的异常行为检测系统及方法，属于行为识别技术领域；所述系统包括局部模块、全局模块、融合模块和分类器；首先使用时间下采样和3D卷积将视频流投影为一个包含M个令牌的矩阵，输入到局部模块用于局部建模，得到局部特征，能够更全面地理解视频中特定对象的动作和位置关系；再利用全局模块对其进行全局建模，得到全局特征，能够捕捉整个视频序列中的长期时空依赖关系，理解整个视频的动作背景、场景变化以及对象之间的全局关系；然后利用融合模块进行特征融合，得到最终视频表示；最后利用分类器对其行为分类，识别出具体异常行为；本发明针对复杂环境具有较高识别精度，对维护公共场所安全具有很高的研究价值和意义。