-
公开(公告)号:CN116740594A
公开(公告)日:2023-09-12
申请号:CN202310267557.0
申请日:2023-03-20
Applicant: 东北大学
IPC: G06V20/40 , G06V10/774 , G06V10/82 , G06V10/80 , G06N3/0464 , G06N3/084
Abstract: 本发明提供一种基于卷积神经网络的实时时空动作检测方法,涉及时空动作检测技术领域。该方法使用3D卷积神经网络来实现强大的时序建模能力,并通过选择使用一些高效的3D卷积神经网络来提取输入的视频片段的时序特征,同时把输入的尺寸缩小一些来解决其计算量大的问题。然后利用2D卷积神经网络强大的空间建模的能力,去处理关键帧,得到关键帧的空间特征。最后,设计了一个基于自注意力机制的模块来融合这两种特征。由此得到一个结构简洁,检测速度快的实时时空检测模型。该方法可以高效地构建连续帧之间的时序关联,且不仅对人和人之间的关系进行建模,人和背景之间的关联也没有忽略,如此达到准确性和实时性的兼顾。