-
公开(公告)号：CN111310676A
公开(公告)日：2020-06-19
申请号：CN202010107297.7
申请日：2020-02-21
Applicant: 重庆邮电大学
Abstract: 本发明涉及一种基于CNN-LSTM和attention的视频动作分类方法，属于计算机视觉领域，包括以下步骤：S1：从预训练过的卷积神经网络CNN中导出多层深度特征来表示视频动作，利用Conv-LSTM和FC-LSTM捕获不同视频帧之间的上下文关系信息，对视频动作进行时序建模；S2：通过TAM和JSTAM，加强动作表征中的时间显著性和时空显著性；S3：采用两种注意力模型得到包含关键信息的视频动作全局表征，利用PCA降维算法对高维的动作表征向量进行降维以及去相关；S4：给时间注意力网络TAN和联合时间注意力网络JSTAN两个独立网络的输出分配不同的权值，将多个表征向量整合为最终的分类向量。
-
公开(公告)号：CN111325155A
公开(公告)日：2020-06-23
申请号：CN202010107288.8
申请日：2020-02-21
Applicant: 重庆邮电大学
Abstract: 本发明涉及一种基于残差式3D CNN和多模态特征融合的视频动作分类方法，属于计算机视觉与深度学习领域。首先将传统C3D网络连接方式改为残差式连接；采用核分解技术将3D卷积核拆解，得到一个空间卷积核，与并行的多个不同时间尺度时间核，再在空间卷积核后插入注意力模型，得到A3D残差模块并将其堆叠成的残差网络。搭建双流动作识别模型，将RGB图像特征和光流特征输入到空间流网络和时间流网络中，并提取出多级卷积特征层特征，再利用多级特征融合策略对两个网络进行融合，实现时空特征互补；最后将分数级融合后的全局视频动作描述子通过PCA降维，再用SVM分类器完成动作分类。
-
公开(公告)号：CN111325155B
公开(公告)日：2022-09-23
申请号：CN202010107288.8
申请日：2020-02-21
Applicant: 重庆邮电大学
Abstract: 本发明涉及一种基于残差式3D CNN和多模态特征融合策略的视频动作识别方法，属于计算机视觉与深度学习领域。首先将传统C3D网络连接方式改为残差式连接；采用核分解技术将3D卷积核拆解，得到一个空间卷积核，与并行的多个不同时间尺度时间核，再在空间卷积核后插入注意力模型，得到A3D残差模块并将其堆叠成的残差网络。搭建双流动作识别模型，将RGB图像特征和光流特征输入到空间流网络和时间流网络中，并提取出多级卷积特征层特征，再利用多级特征融合策略对两个网络进行融合，实现时空特征互补；最后将分数级融合后的全局视频动作描述子通过PCA降维，再用SVM分类器完成动作分类。
-
-
Search Results
3
records
(took 0.02 seconds)
