一种基于多模态特征融合的人体骨架动作识别方法

    公开(公告)号:CN113761975A

    公开(公告)日:2021-12-07

    申请号:CN202010498569.0

    申请日:2020-06-04

    Applicant: 南京大学

    Inventor: 武港山 周蕾

    Abstract: 一种基于多模态特征融合的人体骨架动作识别方法,在存储空间、计算资源受限的条件下,利用骨架序列和少量图片信息对视频中人体动作进行分类,实现动作识别。本发明通过对每个待分类视频只抽取一帧作为图片信息,为静态动作类别引入了环境信息,但是没有增加太大的存储、计算压力,将由视频得到骨架序列信息和图片信息这两种模态信息进行融合,实现对视频中人体动作识别,并进一步提出了特征替换训练过程和KL散度的约束方法,进一步提高识别的精度。与现有其他动作识别方法相比,本发明在不同数据集的测试精度指标上都取得了很好的效果。

    一种基于多模态特征融合的人体骨架动作识别方法

    公开(公告)号:CN113761975B

    公开(公告)日:2023-12-15

    申请号:CN202010498569.0

    申请日:2020-06-04

    Applicant: 南京大学

    Inventor: 武港山 周蕾

    Abstract: 一种基于多模态特征融合的人体骨架动作识别方法,在存储空间、计算资源受限的条件下,利用骨架序列和少量图片信息对视频中人体动作进行分类,实现动作识别。本发明通过对每个待分类视频只抽取一帧作为图片信息,为静态动作类别引入了环境信息,但是没有增加太大的存储、计算压力,将由视频得到骨架序列信息和图片信息这两种模态信息进行融合,实现对视频中人体动作识别,并进一步提出了特征替换训练过程和KL散度的约束方法,进一步提高识别的精度。与现有其他动作识别方法相比,本发明在不同数据集的测试精度指标上都取得了很好的效果。

Patent Agency Ranking