基于时空采样的实例级别特征聚合方法

    公开(公告)号:CN109993772A

    公开(公告)日:2019-07-09

    申请号:CN201910230234.8

    申请日:2019-03-26

    Applicant: 东北大学

    Abstract: 本发明提供一种基于时空采样的实例级别特征聚合方法,涉及计算机视觉技术领域。基于时空采样的实例级别特征聚合方法,首先基于光流进行实例运动位移预测,得到相邻帧的候选框位置;并基于运动位移进行实例级别的特征采样,得到候选框在当前帧及其前后相邻两帧的采样特征;然后基于光流质量和外观质量进行实例级权重计算,提取候选框k对应的位置敏感的实例级权重;最后将当前帧i与其相邻帧i‑t和i+t的实例级别特征通过位置敏感的实例级权重进行聚合,得到聚合后的实例级别的特征。本发明提供的基于时空采样的实例级别特征聚合方法,能有效的利用相邻帧之间的运动信息,进而提升运动模糊、变形等复杂场景下的视频目标检测的精度。

    一种面向视频目标检测的光流多层帧特征传播及聚合方法

    公开(公告)号:CN109993096A

    公开(公告)日:2019-07-09

    申请号:CN201910230235.2

    申请日:2019-03-26

    Applicant: 东北大学

    Abstract: 本发明提供一种面向视频目标检测的光流多层帧特征传播及聚合方法,涉及计算机视觉技术领域。该方法首先通过特征网络提取相邻帧的多层特征、光流网络提取光流,然后利用光流将当前帧的前一帧和当前帧的后一帧的多层帧级别特征传播到当前帧,步长不同的层需要对光流做上采样或下采样,获取多层传播特征;然后逐层依次聚合每层的传播特征,最后生成多层聚合的帧级别特征用于最后的视频目标检测。本发明提供的面向视频目标检测的光流多层帧特征传播及聚合方法,使得输出的帧级别聚合特征兼顾了浅层网络分辨率高和深层网络高维语义特征的优点,能提升检测性能,而且多层特征聚合的方法对小目标的检测性能有所提升。

    一种面向视频目标检测的帧级别特征聚合方法

    公开(公告)号:CN109993095A

    公开(公告)日:2019-07-09

    申请号:CN201910230227.8

    申请日:2019-03-26

    Applicant: 东北大学

    Abstract: 本发明提供一种面向视频目标检测的帧级别特征聚合方法,涉及计算机视觉技术领域。本发明提供的面向视频目标检测的帧级别特征聚合方法,首先通过特征网络从单帧图像中提取深层的特征;然后使用光流网络FlowNet提取帧间的光流;并基于光流将相邻帧的帧级别特征对齐到当前帧,实现帧级别的特征传播;最后通过映射网络和权重放缩网络计算放缩余弦相似性权重,并使用放缩余弦相似性权重聚合多帧特征,生成聚合后的特征;本发明提供的面向视频目标检测的帧级别特征聚合方法,使得权重分配更加合理,将聚合后的特征输入到视频目标检测网络中,能够使在运动模糊、像素低、镜头变焦、遮挡等复杂场景下的视频检测具有较好的检测效果,具有鲁棒性。

    基于时空采样的实例级别特征聚合方法

    公开(公告)号:CN109993772B

    公开(公告)日:2022-12-20

    申请号:CN201910230234.8

    申请日:2019-03-26

    Applicant: 东北大学

    Abstract: 本发明提供一种基于时空采样的实例级别特征聚合方法,涉及计算机视觉技术领域。基于时空采样的实例级别特征聚合方法,首先基于光流进行实例运动位移预测,得到相邻帧的候选框位置;并基于运动位移进行实例级别的特征采样,得到候选框在当前帧及其前后相邻两帧的采样特征;然后基于光流质量和外观质量进行实例级权重计算,提取候选框k对应的位置敏感的实例级权重;最后将当前帧i与其相邻帧i‑t和i+t的实例级别特征通过位置敏感的实例级权重进行聚合,得到聚合后的实例级别的特征。本发明提供的基于时空采样的实例级别特征聚合方法,能有效的利用相邻帧之间的运动信息,进而提升运动模糊、变形等复杂场景下的视频目标检测的精度。

    一种面向视频目标检测的光流多层帧特征传播及聚合方法

    公开(公告)号:CN109993096B

    公开(公告)日:2022-12-20

    申请号:CN201910230235.2

    申请日:2019-03-26

    Applicant: 东北大学

    Abstract: 本发明提供一种面向视频目标检测的光流多层帧特征传播及聚合方法,涉及计算机视觉技术领域。该方法首先通过特征网络提取相邻帧的多层特征、光流网络提取光流,然后利用光流将当前帧的前一帧和当前帧的后一帧的多层帧级别特征传播到当前帧,步长不同的层需要对光流做上采样或下采样,获取多层传播特征;然后逐层依次聚合每层的传播特征,最后生成多层聚合的帧级别特征用于最后的视频目标检测。本发明提供的面向视频目标检测的光流多层帧特征传播及聚合方法,使得输出的帧级别聚合特征兼顾了浅层网络分辨率高和深层网络高维语义特征的优点,能提升检测性能,而且多层特征聚合的方法对小目标的检测性能有所提升。

    一种面向视频目标检测的帧级别特征聚合方法

    公开(公告)号:CN109993095B

    公开(公告)日:2022-12-20

    申请号:CN201910230227.8

    申请日:2019-03-26

    Applicant: 东北大学

    Abstract: 本发明提供一种面向视频目标检测的帧级别特征聚合方法,涉及计算机视觉技术领域。本发明提供的面向视频目标检测的帧级别特征聚合方法,首先通过特征网络从单帧图像中提取深层的特征;然后使用光流网络FlowNet提取帧间的光流;并基于光流将相邻帧的帧级别特征对齐到当前帧,实现帧级别的特征传播;最后通过映射网络和权重放缩网络计算放缩余弦相似性权重,并使用放缩余弦相似性权重聚合多帧特征,生成聚合后的特征;本发明提供的面向视频目标检测的帧级别特征聚合方法,使得权重分配更加合理,将聚合后的特征输入到视频目标检测网络中,能够使在运动模糊、像素低、镜头变焦、遮挡等复杂场景下的视频检测具有较好的检测效果,具有鲁棒性。

Patent Agency Ranking