公开(公告)号：CN111627052B

公开(公告)日：2023-05-23

申请号：CN202010360993.9

申请日：2020-04-30

Applicant: 沈阳工程学院

Inventor： 代钦 ,  王黎明 ,  李怡颖 ,  王洪江 ,  刘芳

IPC: G06T7/269 ,  G06V40/20 ,  G06V10/764

Abstract: 本发明公开了一种基于双流时空注意力机制的动作识别方法T‑STAM，包括如下步骤：S1：对视频进行处理获取RGB帧的光流图；S2：将通道注意力网络SE‑Net融入到双流基础网络BN‑Inception中得到SE‑BN‑Inception；S3：将选取的RGB帧及光流场信息输入到SE‑BN‑Inception中，对特征中不同通道的依赖关系进行建模得到视频的特征向量X；S4：将特征X输入到基于CNN的时间注意力网络来计算每帧对应的时间注意力得分；S5：将特征X输入到多空间注意力网络，提取帧的多个运动空间显著区域；S6：融合时空特征进一步增强视频的特征表达，按不同权重融合两流输出得到动作识别结果。

公开(公告)号：CN111627052A

公开(公告)日：2020-09-04

申请号：CN202010360993.9

申请日：2020-04-30

Applicant: 沈阳工程学院

Inventor： 代钦 ,  王黎明 ,  李怡颖 ,  王洪江 ,  刘芳

IPC: G06T7/269 ,  G06K9/00 ,  G06K9/62

Abstract: 本发明公开了一种基于双流时空注意力机制的动作识别方法T-STAM，包括如下步骤：S1：对视频进行处理获取RGB帧的光流图；S2：将通道注意力网络SE-Net融入到双流基础网络BN-Inception中得到SE-BN-Inception；S3：将选取的RGB帧及光流场信息输入到SE-BN-Inception中，对特征中不同通道的依赖关系进行建模得到视频的特征向量X；S4：将特征X输入到基于CNN的时间注意力网络来计算每帧对应的时间注意力得分；S5：将特征X输入到多空间注意力网络，提取帧的多个运动空间显著区域；S6：融合时空特征进一步增强视频的特征表达，按不同权重融合两流输出得到动作识别结果。