公开(公告)号：CN119418401A

公开(公告)日：2025-02-11

申请号：CN202411459423.X

申请日：2024-10-18

Applicant: 重庆邮电大学

Inventor： 胡敏 ,  郭永永 ,  黄宏程

IPC: G06V40/20 ,  G06V10/44 ,  G06V10/80 ,  G06V10/42 ,  G06V10/62 ,  G06V10/764 ,  G06V10/82 ,  G06V20/40 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/0442

Abstract: 本发明涉及一种多模态人体动作识别方法，属于人体动作识别领域。通过ResNet152网络提取视频空间特征，Bi LSTM网络提取时间依赖特征，并进行特征编码。随后，利用改进的串联交叉注意力网络进行特征融合，其中交叉注意力模块采用随机脉冲滤波卷积矩阵进行初始化，将CNN的归纳偏差引入其中，提高模型数据有效性，使其更容易在小规模数据集上拟合。最终，融合特征通过全连接层和Softmax函数进行动作类别预测。本发明有效提升了多模态人体动作识别在小规模数据集上的性能，并增强了其普适性和通用性，适用于人机交互、监控视频、手势识别等多种场景。