一种基于弱监督学习的视频时序动作检测方法

    公开(公告)号:CN109409257A

    公开(公告)日:2019-03-01

    申请号:CN201811181395.4

    申请日:2018-10-11

    Abstract: 本发明涉及数字图像处理技术领域,具体为一种基于弱监督学习的视频时序动作检测方法。该方法具体步骤是,步骤1:把视频输入分类器,分别得到不同的检测置信度;步骤2:融合视频在不同分类器的得分;步骤3:条件随机场精调结果;检测阶段的步骤是,步骤4:把待检测视频输入训练出的分类器,得到不同的检测置信度;步骤5:通过FC-CRF优化融合不同的检测置信度。本方法可将人类的先验知识和神经网络的输出结合起来,实验结果表明FC-CRF在ActivityNet上提高了20.8%mAP@0.5的检测性能。

    一种基于推荐候选框融合的用于目标检测的数据增强方法

    公开(公告)号:CN111292349B

    公开(公告)日:2023-04-18

    申请号:CN202010053409.5

    申请日:2020-01-17

    Abstract: 一种基于推荐候选框融合的用于目标检测的数据增强方法,包括:输入一个待检测的图片序列;对输入的图片序列进行深度空间特征提取,每一个卷积层都会产生一个特征图;在最后一层特征图上提取大量可能包含前景目标的区域;得到推荐候选框集;取推荐候选框与融合对象,按照融合比例进行线性叠加,获得融合推荐候选框集;以及将融合推荐候选框集更新到原图片序列上推荐候选框集的位置上生成新图片序列,然后用新图片序列替换原图片序列来训练目标检测器。该方法基于推荐候选框的融合生成新的训练样本以替代原训练数据,能够训练出更稳定,更具鲁棒性的目标检测器,提高模型对复杂样本的检测能力。

    一种视频行为时间轴定位及候选框提取的方法

    公开(公告)号:CN108898076B

    公开(公告)日:2022-07-01

    申请号:CN201810607040.0

    申请日:2018-06-13

    Abstract: 一种视频行为时间轴定位及候选框提取的方法,该方法是基于未裁剪视频数据的、深度强化学习的视频行为时间轴候选框提取方法,具体步骤是:首先,在视频行为时间轴定位任务上建立了马尔科夫模型,将视频行为时间轴定位任务转化为求解马尔科夫决策过程;然后,使用经典的深度强化学习算法DQN来求解马尔科夫决策过程,使得算法自动调整时间轴窗口的长度与位置;最后,使用训练出来的智能体模型和一个动作/背景二分类器,来定位视频中的人类行为,产生时间轴候选框,以供后续更精确的定位和分析。本发明在效率与效果上超越了目前大多数先进算法,可用于定位视频中的人类行为。

    一种基于边界查找的用于视频中动作时间轴定位的方法

    公开(公告)号:CN108875610B

    公开(公告)日:2022-04-05

    申请号:CN201810569922.2

    申请日:2018-06-05

    Abstract: 一种基于边界查找的用于视频中动作时间轴定位的方法,采用时间轴边界似然的组件来改进第三阶段的定位问题。该组件通过三个步骤来执行更精确的视频动作定位:给定一段由第一和第二阶段产生的类别可知的动作提议,第一步将其左右边界扩充得到一个更大的搜索间隔片段,同时将这个时间间隔均匀等分成多个单元,每个单元包含同样数目的帧数;第二步对每一个单元计算内外概率或者边界概率,分别表示该单元位于真实标注之内或之外以及是该动作发生的开始边界或结束边界的概率;第三步基于每个单元计算出的概率,利用最大似然估计来估计出最优的动作时间轴边界,从而达到定位的效果。

    一种基于边界查找的用于视频中动作时间轴定位的方法

    公开(公告)号:CN108875610A

    公开(公告)日:2018-11-23

    申请号:CN201810569922.2

    申请日:2018-06-05

    Abstract: 一种基于边界查找的用于视频中动作时间轴定位的方法,采用时间轴边界似然的组件来改进第三阶段的定位问题。该组件通过三个步骤来执行更精确的视频动作定位:给定一段由第一和第二阶段产生的类别可知的动作提议,第一步将其左右边界扩充得到一个更大的搜索间隔片段,同时将这个时间间隔均匀等分成多个单元,每个单元包含同样数目的帧数;第二步对每一个单元计算内外概率或者边界概率,分别表示该单元位于真实标注之内或之外以及是该动作发生的开始边界或结束边界的概率;第三步基于每个单元计算出的概率,利用最大似然估计来估计出最优的动作时间轴边界,从而达到定位的效果。

    一种基于推荐候选框融合的用于目标检测的数据增强方法

    公开(公告)号:CN111292349A

    公开(公告)日:2020-06-16

    申请号:CN202010053409.5

    申请日:2020-01-17

    Abstract: 一种基于推荐候选框融合的用于目标检测的数据增强方法,包括:输入一个待检测的图片序列;对输入的图片序列进行深度空间特征提取,每一个卷积层都会产生一个特征图;在最后一层特征图上提取大量可能包含前景目标的区域;得到推荐候选框集;取推荐候选框与融合对象,按照融合比例进行线性叠加,获得融合推荐候选框集;以及将融合推荐候选框集更新到原图片序列上推荐候选框集的位置上生成新图片序列,然后用新图片序列替换原图片序列来训练目标检测器。该方法基于推荐候选框的融合生成新的训练样本以替代原训练数据,能够训练出更稳定,更具鲁棒性的目标检测器,提高模型对复杂样本的检测能力。

    一种视频行为时间轴定位及候选框提取的方法

    公开(公告)号:CN108898076A

    公开(公告)日:2018-11-27

    申请号:CN201810607040.0

    申请日:2018-06-13

    Abstract: 一种视频行为时间轴定位及候选框提取的方法,该方法是基于未裁剪视频数据的、深度强化学习的视频行为时间轴候选框提取方法,具体步骤是:首先,在视频行为时间轴定位任务上建立了马尔科夫模型,将视频行为时间轴定位任务转化为求解马尔科夫决策过程;然后,使用经典的深度强化学习算法DQN来求解马尔科夫决策过程,使得算法自动调整时间轴窗口的长度与位置;最后,使用训练出来的智能体模型和一个动作/背景二分类器,来定位视频中的人类行为,产生时间轴候选框,以供后续更精确的定位和分析。本发明在效率与效果上超越了目前大多数先进算法,可用于定位视频中的人类行为。

Patent Agency Ranking