公开(公告)号：CN116503776A

公开(公告)日：2023-07-28

申请号：CN202310439788.5

申请日：2023-04-23

Applicant: 江南大学

Inventor： 陈莹 ,  余梦云

IPC: G06V20/40 ,  G06V10/25 ,  G06V10/62 ,  G06V10/40 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/049 ,  G06N3/08

Abstract: 本发明公开了一种基于时间自适应的时空注意力视频行为识别方法，属于计算机视觉中行为识别技术领域。该方法通过时间自适应在时间维度对特征的重要程度进行区分，筛选出具有代表性的典型特征，从而引导分配较多的注意力在重要特征上来辅助精准识别。时空注意力基于能量函数从重要特征类和次要特征类分别获取时空信息，选择出具有代表性信息的特征，后续基于时空维度权值进行融合两类特征得到融合特征，最终根据融合特征获得视频行为识别结果。时空注意力不仅不会引入参数，而且可以直接推断出三维权重，因此可以提高视频行为识别网络的性能。整个模块具有即插即用的性质，可以方便地嵌入到主流的2DCNNs中，构成专用的视频行为识别网络。