公开(公告)号：CN119888837A

公开(公告)日：2025-04-25

申请号：CN202411714765.1

申请日：2024-11-27

Applicant: 武汉大学

Inventor： 邹炼 ,  孟凡影 ,  范赐恩 ,  周立青 ,  张越非 ,  池汝安

IPC: G06V40/20 ,  G06V20/40 ,  G06V20/52 ,  G06V10/80 ,  G06N3/0464 ,  G06N3/045

Abstract: 本发明公开一种多尺度骨架特征融合与注意力增强的人体动作识别方法，包括：进行两次不同采样比率的RGB帧提取，RGB运动支路的每一帧图像生成骨架热图，作为骨架运动支路的输入；对RGB环境支路、RGB运动支路和骨架运动支路分别提取特征，使用跨模态注意力机制来实现运动特征的对齐与互补增强，以实现高细粒度且丰富的运动特征提取，最后通过级联融合方式，以提升特征的表达能力，进一步丰富特征信息维度。本发明使用三分支的特征提取网络分别提取RGB环境支路、RGB运动支路与骨架运动支路的特征，并且将环境特征融入运动支路的各个阶段，实现了不同层次特征之间的有效互补与融合，显著提升了人体动作识别的精度，尤其在复杂场景下表现出色。