公开(公告)号：CN114973071B

公开(公告)日：2024-10-15

申请号：CN202210513388.X

申请日：2022-05-11

Applicant: 中国科学院软件研究所

Inventor： 张正昊 ,  赵天赐 ,  司凌宇 ,  郑昌文

IPC: G06V20/40 ,  G06V10/26 ,  G06V10/74 ,  G06V10/80 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/049 ,  G06N3/088

Abstract: 本发明公开一种基于长短期时序特征的无监督视频目标分割方法及系统，属于计算机视觉领域，通过将当前帧图像和参考帧图像映射到相同的深层语义空间，获取两帧空间外观特征；借助上一帧的分割掩码在当前帧形成短期时序约束，强化目标特征区域并抑制背景区域响应，保持目标短时内的视觉一致性；对当前帧与参考帧间的长序时序建模，计算传递进来的当前帧与参考帧特征图之间的密集匹配，并通过高斯加权消除相似像素的匹配杂波，得到长期时序特征；融合时序特征与外观特征形成判别特征，基于判别特征在视频语义一致性的条件下完成目标分割。本发明能够在复杂视频场景中，尤其在相似物体干扰场景下，实现目标的稳定分割。

公开(公告)号：CN114842388A

公开(公告)日：2022-08-02

申请号：CN202210501399.6

申请日：2022-05-09

Applicant: 中国科学院软件研究所

Inventor： 赵天赐 ,  张正昊 ,  何灏 ,  朱庆猛 ,  郑昌文

IPC: G06V20/40 ,  G06V20/52 ,  G06V10/40 ,  G06V10/80 ,  G06V10/77 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明属于计算机视觉领域，特别是视频多目标跟踪领域，具体涉及一种基于随机通道自适应注意力机制的多目标跟踪方法和系统。针对目标运动过程中，经常被障碍物部分或完全遮挡，遮挡前后行人位置存在较大位移导致复现后无法持续稳定跟踪的问题，主要包括四个模块：随机、挤压、激励和加权：首先在特征传递以及特征聚合时添加一个门控机制实现空间自适应注意力模块的随机启动，启动之后对传递进来的特征图做全局平均池化压缩处理，所得到的特征图拥有全局的感受野，最后再利用全连接层计算各个通道的权重，再对原始特征图做加权，从而可以加强图像中显著性特征的作用，增强模型的抗遮挡和长时跟踪能力，最终实现快速稳定跟踪视频目标的要求。

公开(公告)号：CN114973071A

公开(公告)日：2022-08-30

申请号：CN202210513388.X

申请日：2022-05-11

Applicant: 中国科学院软件研究所

Inventor： 张正昊 ,  赵天赐 ,  司凌宇 ,  郑昌文

IPC: G06V20/40 ,  G06V10/26 ,  G06V10/74 ,  G06V10/80 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开一种基于长短期时序特征的无监督视频目标分割方法及系统，属于计算机视觉领域，通过将当前帧图像和参考帧图像映射到相同的深层语义空间，获取两帧空间外观特征；借助上一帧的分割掩码在当前帧形成短期时序约束，强化目标特征区域并抑制背景区域响应，保持目标短时内的视觉一致性；对当前帧与参考帧间的长序时序建模，计算传递进来的当前帧与参考帧特征图之间的密集匹配，并通过高斯加权消除相似像素的匹配杂波，得到长期时序特征；融合时序特征与外观特征形成判别特征，基于判别特征在视频语义一致性的条件下完成目标分割。本发明能够在复杂视频场景中，尤其在相似物体干扰场景下，实现目标的稳定分割。