-
公开(公告)号:CN109871449A
公开(公告)日:2019-06-11
申请号:CN201910205698.3
申请日:2019-03-18
Applicant: 北京邮电大学
Abstract: 本发明公开了一种基于语义描述的端到端的零样本学习方法,通过类别语义描述特征自动化构建,使用长短期记忆神经网络完成对类别描述语义向量的生成。通过图像特征提取与零样本迁移建模联合训练实现一个基于语义描述的端到端(联合训练)的零样本学习模型的技术方案,解决使用单一词向量造成的非视觉性、歧义性。图像特征提取模块、零样本迁移建模模块联合训练,端到端的模型更加方便、快捷。语义向量构建可以针对不同场景定制,更加准确、高效。
-
公开(公告)号:CN109948721B
公开(公告)日:2021-07-09
申请号:CN201910238135.4
申请日:2019-03-27
Applicant: 北京邮电大学
Abstract: 本发明公开了一种基于视频描述的视频场景分类方法,包括:基于DCT变换以及帧滑动窗口快速提取视频关键帧,并对视频关键帧进行划分;采用3d卷积神经网络对视频不定长关键帧序列进行特征提取;通过Sent2Vec方式获取每个视频描述的嵌入表示作为视频的语义表示;基于提取的特征和语义表示得到最终模型架构三维卷积循环神经网络。本发明借助于视频描述,实现一种快速、准确的视频场景分类方法,该方法可快速准确地提取视频关键帧,相比使用视频所有的帧或者按照一定时间间隔抽样,结果更加准确快速。同时可提升视频场景分类的准确性,通过长短期记忆神经网络训练学习视频的关键帧时序关系,更符合视频这一流媒体的性质。可处理任意长度视频关键帧序列。
-
公开(公告)号:CN109948721A
公开(公告)日:2019-06-28
申请号:CN201910238135.4
申请日:2019-03-27
Applicant: 北京邮电大学
Abstract: 本发明公开了一种基于视频描述的视频场景分类方法,包括:基于DCT变换以及帧滑动窗口快速提取视频关键帧,并对视频关键帧进行划分;采用3d卷积神经网络对视频不定长关键帧序列进行特征提取;通过Sent2Vec方式获取每个视频描述的嵌入表示作为视频的语义表示;基于提取的特征和语义表示得到最终模型架构三维卷积循环神经网络。本发明借助于视频描述,实现一种快速、准确的视频场景分类方法,该方法可快速准确地提取视频关键帧,相比使用视频所有的帧或者按照一定时间间隔抽样,结果更加准确快速。同时可提升视频场景分类的准确性,通过长短期记忆神经网络训练学习视频的关键帧时序关系,更符合视频这一流媒体的性质。可处理任意长度视频关键帧序列。
-
-