公开(公告)号：CN116311506A

公开(公告)日：2023-06-23

申请号：CN202310145556.9

申请日：2023-02-21

Applicant: 燕山大学

Inventor： 丁伟利 ,  边双双 ,  高原

IPC: G06V40/20 ,  G06V10/44 ,  G06V20/40 ,  G06V10/77 ,  G06V10/80 ,  G06V10/764 ,  G06V10/82 ,  G06N3/045 ,  G06N3/08

Abstract: 本发明涉及一种多特征融合的人‑物交互动作识别方法，通过提取视频序列帧进行数据处理。首先，采用基于深度学习的目标检测算法进行物体识别，提取物体的边界框及位置信息。然后，将骨骼数据和物体识别结果进行交叉融合，根据骨骼信息提取骨骼段之间的角度特征和关节之间的相对距离特征、物体到关节间的相对距离和角度特征并进行多特征融合。最后，本发明的方法将人与物体间的特征向量和人体关节间的特征向量整合后通过多层学习的分类方法对视频进行动作分类，从而可以更准确的完成视频的动作分类。