基于梯度边界图和多模卷积融合的动作识别方法及系统

    公开(公告)号:CN108288016B

    公开(公告)日:2021-09-03

    申请号:CN201710018537.4

    申请日:2017-01-10

    Applicant: 武汉大学

    Abstract: 本发明公开了一种基于梯度边界图和多模卷积融合的动作识别方法及系统,包括步骤:S1基于原始视频构造连续帧集;S2计算连续帧集中相邻两帧图像间的梯度边界值,从而获得梯度边界图集;S3计算连续帧集中相邻两帧图像间的帧间光流,从而获得光流图集;S4以原始视频的代表帧、梯度边界图集和光流图集为输入,采用卷积神经网络获得原始视频的多模CNN特征;S5融合原始视频的多模CNN特征,得到融合特征;S6基于融合特征,采用动作分类算法进行动作识别。本发明增加了梯度边界图这一重要的动作时空信息,并提出了多模数据卷积融合方法,保证了多模时空特征融合的一致性,提升了视频中人体动作特征描述精确性,提高了人体动作识别率。

    一种基于轻量卷积神经网络的脑电数据的在线分类方法

    公开(公告)号:CN110796175A

    公开(公告)日:2020-02-14

    申请号:CN201910940546.8

    申请日:2019-09-30

    Applicant: 武汉大学

    Abstract: 本发明公开了一种基于轻量卷积神经网络的脑电数据的在线分类方法,应用于云服务平台,云服务平台包括传感层、网关和云端,首先,通过传感层采集用户的脑电数据;然后将采集的脑电数据传入网关,通过网关从云端下载训练好的分类器模型;再基于训练好的分类器模型对采集的脑电数据进行在线分类,EEG片段经医生校准后上传到云端服务器,用于增量式训练模型。本发明能够直接应用于原始EEG,无需进行预处理和特征提取,分类结果精度高且具有实时性。

    基于时间尺度不变性的视频中人体动作识别方法及系统

    公开(公告)号:CN108288015B

    公开(公告)日:2021-10-22

    申请号:CN201710018095.3

    申请日:2017-01-10

    Applicant: 武汉大学

    Abstract: 本发明公开了一种基于时间尺度不变性的视频中人体动作识别方法及系统,包括步骤:S1基于原始视频构造子动作视频段;S2分别获取各子动作视频段的代表帧;S3获得各代表帧的光流强度图像集;S4分别获得各代表帧的图像卷积特征和光流卷积特征;S5分别融合各代表帧的图像卷积特征和光流卷积特征,获得融合特征,所有融合特征构成子动作特征集;S6采用LSTM神经网络对子动作特征集中各融合特征分别进行动作识别,获得多阶段的动作识别结果;S7融合多阶段的动作识别结果,得最终的动作识别结果。本发明对视频中持续时长变化差异很大的动作具有很好的适应性,可提升视频中人体动作特征描述的精确性和人体动作识别率。

    基于梯度边界图和多模卷积融合的动作识别方法及系统

    公开(公告)号:CN108288016A

    公开(公告)日:2018-07-17

    申请号:CN201710018537.4

    申请日:2017-01-10

    Applicant: 武汉大学

    Abstract: 本发明公开了一种基于梯度边界图和多模卷积融合的动作识别方法及系统,包括步骤:S1.基于原始视频构造连续帧集;S2.计算连续帧集中相邻两帧图像间的梯度边界值,从而获得梯度边界图集;S3.计算连续帧集中相邻两帧图像间的帧间光流,从而获得光流图集;S4.以原始视频的代表帧、梯度边界图集和光流图集为输入,采用卷积神经网络获得原始视频的多模CNN特征;S5.融合原始视频的多模CNN特征,得到融合特征;S6.基于融合特征,采用动作分类算法进行动作识别。本发明增加了梯度边界图这一重要的动作时空信息,并提出了多模数据卷积融合方法,保证了多模时空特征融合的一致性,提升了视频中人体动作特征描述精确性,提高了人体动作识别率。

    基于时间尺度不变性的视频中人体动作识别方法及系统

    公开(公告)号:CN108288015A

    公开(公告)日:2018-07-17

    申请号:CN201710018095.3

    申请日:2017-01-10

    Applicant: 武汉大学

    Abstract: 本发明公开了一种基于时间尺度不变性的视频中人体动作识别方法及系统,包括步骤:S1基于原始视频构造子动作视频段;S2分别获取各子动作视频段的代表帧;S3获得各代表帧的光流强度图像集;S4分别获得各代表帧的图像卷积特征和光流卷积特征;S5分别融合各代表帧的图像卷积特征和光流卷积特征,获得融合特征,所有融合特征构成子动作特征集;S6采用LSTM神经网络对子动作特征集中各融合特征分别进行动作识别,获得多阶段的动作识别结果;S7融合多阶段的动作识别结果,得最终的动作识别结果。本发明对视频中持续时长变化差异很大的动作具有很好的适应性,可提升视频中人体动作特征描述的精确性和人体动作识别率。

Patent Agency Ranking