一种基于时序因果卷积网络的视频行为识别方法

    公开(公告)号:CN110175580A

    公开(公告)日:2019-08-27

    申请号:CN201910459028.4

    申请日:2019-05-29

    Applicant: 复旦大学

    Inventor: 姜育刚 程昌茂

    Abstract: 本发明属于计算机图像分析技术领域,具体为一种基于时序因果卷积网络的视频行为识别方法。本发明方法包括使用时序因果三维卷积神经网络对多个视频片段提取时空语义特征表示,得到预测的行为类别;对到当前时刻为止的帧序列进行建模抽取时空高层语义特征,用于行为定位和精度预测。其中设计了空间卷积和时序卷积的融合机制以及因果时空注意力机制。本发明方法具有精度高、计算效率高、实时性等优点,不仅适用于在线的实时视频行为检测分析任务,也能使用于离线视频行为识别、异常事件监测等任务。

    一种基于时序因果卷积网络的视频行为识别方法

    公开(公告)号:CN110175580B

    公开(公告)日:2020-10-30

    申请号:CN201910459028.4

    申请日:2019-05-29

    Applicant: 复旦大学

    Inventor: 姜育刚 程昌茂

    Abstract: 本发明属于计算机图像分析技术领域,具体为一种基于时序因果卷积网络的视频行为识别方法。本发明方法包括使用时序因果三维卷积神经网络对多个视频片段提取时空语义特征表示,得到预测的行为类别;对到当前时刻为止的帧序列进行建模抽取时空高层语义特征,用于行为定位和精度预测。其中设计了空间卷积和时序卷积的融合机制以及因果时空注意力机制。本发明方法具有精度高、计算效率高、实时性等优点,不仅适用于在线的实时视频行为检测分析任务,也能使用于离线视频行为识别、异常事件监测等任务。

    一种基于可跳层双支神经网络的图像粗细粒度分类方法

    公开(公告)号:CN108776807A

    公开(公告)日:2018-11-09

    申请号:CN201810479296.8

    申请日:2018-05-18

    Applicant: 复旦大学

    Abstract: 本发明属于计算机图像处理技术领域,具体为基于可跳层双支神经网络的图像粗细粒度分类方法。本发明方法包括:收集数据集,包括图像数据和对应的粗类别和细类别标签;构造可跳层双支神经网络,在密集连接的卷积神经网络中加入层级门控模块;对训练样本进行数据增强,训练可跳层双支神经网络;训练一端到端的神经网络,输出分类结果。本发明构建的可跳层双支神经网络可同时解决图像粗粒度和细粒度分类任务。该模型在密集连接的卷积层中加入门控模块,可根据输入动态地选择卷积层的执行;根据样本的难易程度和分类任务的粒度,网络的推断深度是可变的。此种灵活的卷积神经网络有利于提升模型容量和计算效率。

Patent Agency Ranking