一种基于多路径注意力时序的视频异常检测方法

    公开(公告)号:CN114973102B

    公开(公告)日:2024-09-27

    申请号:CN202210692871.9

    申请日:2022-06-17

    Applicant: 南通大学

    Abstract: 本发明属于计算机视觉技术领域,具体为一种基于多路径注意力时序的视频异常检测方法,包括步骤一、循环残差卷积单元;步骤二、跳跃注意力门;步骤三、规则性得分。本发明中每个RRCU的活动不仅会受到其相邻单元活动的调节,并且可以根据网络和任务的不同设置不同的时间步长,该属性增强了模型对上下文信息的整合能力;同时,考虑到编码阶段对图像压缩会造成信息损失,利用跳跃注意力门聚合来自多个特征尺度的信息,其可自动学习并关注不同形状和大小的目标对象,更好地突出显著性局部特征;作为一个端到端的学习框架,模型利用多尺度的时空特征可以捕获更多的正态分布信息。

    一种基于时空记忆网络的视频异常检测方法及设备

    公开(公告)号:CN117011753A

    公开(公告)日:2023-11-07

    申请号:CN202310633934.8

    申请日:2023-05-31

    Applicant: 南通大学

    Abstract: 本发明属于计算机视觉领域,具体涉及一种基于时空记忆网络的视频异常检测方法及设备。本发明方法包含:在训练阶段,将正常行为的视频帧输入视频异常检测模型中,通过自动编码器中的编码器输出多维特征序列输入记忆模块,记忆模块计算出时空关系信息并以记忆项为载体对时空关系信息进行读取和更新,优化记忆模块更新中涉及的损失函数的权重平衡;将时序强相关特征输入到自动编码器中的解码器;在测试阶段,将测试视频帧输入到训练好的视频异常检测模型中,计算异常分数。本发明利用记忆模块的引导,学习特征序列之间时序上和全局上的关联性,对记忆模块的存储和更新规则进行了优化,加速记忆模块的收敛,提高了模型的稳定性以及检测精度。

    基于信息驱动的双流叉网架构视频异常检测方法及设备

    公开(公告)号:CN116612404A

    公开(公告)日:2023-08-18

    申请号:CN202310236462.2

    申请日:2023-03-13

    Applicant: 南通大学

    Abstract: 本发明提出了一种基于信息驱动的双流叉网架构视频异常检测方法及设备,本发明方法包括:构建双流叉网架构模型,将待检测视频帧输入双流叉网架构模,其中双流叉网架构模型包含外观叉网和动态叉网;所述运动叉网包含运动自编码器和运动辅助编码器;所述外观叉网包含外观自动编码器、信息重校正网络和外观辅助编码器;计算双流叉网架构模型的总损失函数;将待测试视频输入双流叉网架构模型中,计算外观叉网和运动叉网的总损失函数,得到视频异常分数。本发明使用双流叉网架构来分离运动特征和外观特征,在外观叉网中使用信息重校正网络来减少信息丢失,添加辅助编码器来获得更深层的语义信息,提高视频异常检测性能。

    一种基于空间属性的多目标跟踪算法

    公开(公告)号:CN115641361A

    公开(公告)日:2023-01-24

    申请号:CN202211376023.3

    申请日:2022-11-04

    Applicant: 南通大学

    Abstract: 本发明提供了一种基于空间属性的多目标跟踪算法,属于计算机视觉技术领域。解决了复杂情况下跟踪效果差的问题。其技术方案为:包括以下步骤:S1:加强同个目标间的位置关联,将上一帧目标的位置特征作为补充添加到当前帧用于提高抗遮挡能力;S2:借助空间信息增强检测能力,在检测器部分提出了全局与局部的位置特征提取模块以获取不同目标间详细的空间位置信息;S3:在跟踪器目标匹配部分提出一种新的计算标准,利用目标间的空间关系,使交错目标间的匹配方式精准;S4:将计算后的目标锚框进行匹配,结合重识别模型,得到最终的跟踪结果。本发明的有益效果为:该方法加强了空间信息并使其更能适应复杂运动的目标,使跟踪更稳定。

    一种基于多路径注意力时序的视频异常检测方法

    公开(公告)号:CN114973102A

    公开(公告)日:2022-08-30

    申请号:CN202210692871.9

    申请日:2022-06-17

    Applicant: 南通大学

    Abstract: 本发明属于计算机视觉技术领域,具体为一种基于多路径注意力时序的视频异常检测方法,包括步骤一、循环残差卷积单元;步骤二、跳跃注意力门;步骤三、规则性得分。本发明中每个RRCU的活动不仅会受到其相邻单元活动的调节,并且可以根据网络和任务的不同设置不同的时间步长,该属性增强了模型对上下文信息的整合能力;同时,考虑到编码阶段对图像压缩会造成信息损失,利用跳跃注意力门聚合来自多个特征尺度的信息,其可自动学习并关注不同形状和大小的目标对象,更好地突出显著性局部特征;作为一个端到端的学习框架,模型利用多尺度的时空特征可以捕获更多的正态分布信息。

    行为预测网络训练方法、系统及行为异常检测方法、系统

    公开(公告)号:CN114581738A

    公开(公告)日:2022-06-03

    申请号:CN202210285382.1

    申请日:2022-03-22

    Applicant: 南通大学

    Abstract: 本发明公开了一种行为预测网络训练方法、系统及行为异常检测方法、系统,涉及视频异常检测技术领域。训练方法包括:基于卷积网络和U‑Net网络构建异构孪生网络;获取训练视频,所述训练视频包括若干时间连续的包含正常行为的RGB视频帧和光流帧;分别通过RGB视频帧和光流帧对卷积网络和U‑Net网络进行训练;确定表观损失函数和运动损失函数;根据表观损失函数和所述运动损失函数,确定多约束损失函数;根据多约束损失函数调整卷积网络和U‑Net网络中的权重,以对异构孪生网络进行训练,得到训练好的异构孪生网络。通过本发明能够有效对复杂场景下快速运动、外观相似的运动物体进行行为预测,进而能够有效检测出异常行为。

    一种基于混合注意力机制的人体异常行为识别方法及系统

    公开(公告)号:CN113516028A

    公开(公告)日:2021-10-19

    申请号:CN202110468555.9

    申请日:2021-04-28

    Applicant: 南通大学

    Abstract: 本发明涉及一种基于混合注意力机制的人体异常行为识别方法及系统,所述识别方法包括:对原始图像进行特征提取,得到低层细节特征F;对所述低层细节特征F进行筛选,得到主要显著特征F″;将所述主要显著特征F″输入至卷积特征提取模块,得到高层语义特征;将所述高层语义特征与所述低层细节特征进行融合,得到融合后的特征;计算训练样本预测值和实际值之间的损失,得到损失值;基于所述损失值对训练参数进行优化;基于优化后的训练参数和所述融合后的特征对神经网络模型进行训练,得到训练后的异常行为识别模型;基于训练后的异常行为识别模型对人体异常行为进行识别。本发明中的上述方法能够提高人体异常行为的识别精度。

    基于多维二阶记忆引导网络的视频异常检测方法及系统

    公开(公告)号:CN115601679A

    公开(公告)日:2023-01-13

    申请号:CN202211317988.5

    申请日:2022-10-26

    Abstract: 本发明属于计算机视觉领域,具体涉及基于多维二阶记忆引导网络的视频异常检测方法及系统,本发明方法包括异常检测模型训练阶段和测试阶段两个阶段。在训练阶段采用隐式计算方法提取连续帧之间时间维度上的初始流动性特征,对初始流动性特征进行四次维度扩充卷积运算得到融合后的特征图;从初始流动性特征和特征图中提取出矫正后的流动性特征,并使用多维二阶记忆引导模块引导流动性特征提取的过程。在测试阶段将整个视频帧输入到异常检测模型中,对视频帧打出异常分数,使用异常分数判断视频中是否存在异常。本发明中使用了维度扩充和特征融合的策略,并采用了多维二阶记忆引导模块,提高了特征重建的效果,能够更有效地识别视频中的异常。

    一种基于场景分类的视频异常检测方法、系统及设备

    公开(公告)号:CN115578690A

    公开(公告)日:2023-01-06

    申请号:CN202211317926.4

    申请日:2022-10-26

    Applicant: 南通大学

    Abstract: 本发明属于计算机视觉领域,具体涉及一种基于场景分类的视频异常检测方法、系统及设备,本发明方法的步骤为:步骤S1、对原视频帧进行灰度化处理,使用背景减除法和帧差法来提取前景目标,并通过Double‑Canny算法提取像素特征;步骤S2、使用预训练模型检测视频帧中的人数并生成视频帧的热力图;步骤S3、使用K‑means聚类算法对视频帧进行场景分类,将视频帧分为密集场景和稀疏场景两类;步骤S4、使用异常检测模块,分别对密集场景和稀疏场景进行异常检测。本发明能够针对不同人群密度的场景选择不同的网络结构进行异常检测,更好地应用于复杂的现实场景,达到更好的异常行为检测效果。

    一种基于曲形度量模型的双流视频异常检测方法

    公开(公告)号:CN115272912A

    公开(公告)日:2022-11-01

    申请号:CN202210730575.3

    申请日:2022-06-24

    Applicant: 南通大学

    Abstract: 本发明属于无监督异常检测技术领域,具体为一种基于曲形度量模型的双流视频异常xlif检测方法,包括S1、加载视频,将视频每五帧分为一个视频序列;S2、对每个视频序列的第一帧xfif作为输入帧,将其输入到静态模块中进行操作;S3、对每个视频序列的前四帧xclips,将其输入到动态模块中进行操作;S4、对于动态模块输出和静态模块输出决策模块将二者结合起来产生对最后一帧的预测帧本发明能够减少在获取不同视频帧差异时丢失的有用信息,更好的衡量复杂的场景之间的差异,更合理地反映了复杂场景之间的差异,获得了更多有用的认知信息。

Patent Agency Ranking