一种基于时空注意力增强特征融合网络的行为识别方法

    公开(公告)号:CN111709304A

    公开(公告)日:2020-09-25

    申请号:CN202010437298.8

    申请日:2020-05-21

    Applicant: 江南大学

    Inventor: 蒋敏 庄丹枫 孔军

    Abstract: 本发明公开了一种基于时空注意力增强特征融合网络的行为识别方法,属于机器视觉领域。该方法采用了基于外观流和运动流双流网络的网络架构,称作时空注意力增强特征融合网络。针对传统双流网络对不同分支采用简单特征或分数融合,本发明构建了一个注意力增强的多层特征融合流作为第三个分支以补充双流结构。同时,针对传统深度网络忽略对通道特征的建模、无法充分利用通道间的相互关系,本发明引入不同层级的通道注意力模块,以建立通道间的相互关系来增强通道特征的表达能力。此外,时序信息在分段融合中起着重要的作用,通过对帧序列进行时序建模增强了重要时序特征的代表性。最终本发明通过对不同支流的分类得分进行加权融合。

    一种基于时空注意力增强特征融合网络的行为识别方法

    公开(公告)号:CN111709304B

    公开(公告)日:2023-05-05

    申请号:CN202010437298.8

    申请日:2020-05-21

    Applicant: 江南大学

    Inventor: 蒋敏 庄丹枫 孔军

    Abstract: 本发明公开了一种基于时空注意力增强特征融合网络的行为识别方法,属于机器视觉领域。该方法采用了基于外观流和运动流双流网络的网络架构,称作时空注意力增强特征融合网络。针对传统双流网络对不同分支采用简单特征或分数融合,本发明构建了一个注意力增强的多层特征融合流作为第三个分支以补充双流结构。同时,针对传统深度网络忽略对通道特征的建模、无法充分利用通道间的相互关系,本发明引入不同层级的通道注意力模块,以建立通道间的相互关系来增强通道特征的表达能力。此外,时序信息在分段融合中起着重要的作用,通过对帧序列进行时序建模增强了重要时序特征的代表性。最终本发明通过对不同支流的分类得分进行加权融合。

Patent Agency Ranking