公开(公告)号：CN114926760B

公开(公告)日：2024-07-02

申请号：CN202210501874.X

申请日：2022-05-10

Applicant: 东北大学

Inventor： 雷为民 ,  姜怡晗 ,  侯玉莹 ,  张伟 ,  叶文慧

IPC: G06V20/40 ,  G06N3/0464 ,  G06N3/0442 ,  G06N3/045 ,  G06N3/08 ,  G06V10/77 ,  G06V10/80 ,  G06V10/82

Abstract: 本发明提供一种基于时空卷积神经网络的视频显著性目标检测系统及方法，所述系统包括空间特征提取模块、时空一致特征增强模块、特征融合及上采样模块、低级语义信息链接模块、解码器；采用一种嵌入了交叉自注意力计算机制的循环神经网络来进行时空一致性特征的提取，对特征图中的特征值进行加权提升显著性特征和非显著性特征的对比度，在一定程度上避免背景信息对前景信息的干扰；同时，采用一种低级语义信息链接模块将低级空间特征和时空一致性特征融合，减少低级空间特征的损失，使得物体边缘的预测更加准确。本发明相对于传统的视频显著性目标检测方法，能够兼顾速度和精度，是一种更加适用于实际视频显著性目标检测的方法。

公开(公告)号：CN114926760A

公开(公告)日：2022-08-19

申请号：CN202210501874.X

申请日：2022-05-10

Applicant: 东北大学

Inventor： 雷为民 ,  姜怡晗 ,  侯玉莹 ,  张伟 ,  叶文慧

IPC: G06V20/40 ,  G06N3/04 ,  G06N3/08 ,  G06V10/77 ,  G06V10/80 ,  G06V10/82

Abstract: 本发明提供一种基于时空卷积神经网络的视频显著性目标检测系统及方法，所述系统包括空间特征提取模块、时空一致特征增强模块、特征融合及上采样模块、低级语义信息链接模块、解码器；采用一种嵌入了交叉自注意力计算机制的循环神经网络来进行时空一致性特征的提取，对特征图中的特征值进行加权提升显著性特征和非显著性特征的对比度，在一定程度上避免背景信息对前景信息的干扰；同时，采用一种低级语义信息链接模块将低级空间特征和时空一致性特征融合，减少低级空间特征的损失，使得物体边缘的预测更加准确。本发明相对于传统的视频显著性目标检测方法，能够兼顾速度和精度，是一种更加适用于实际视频显著性目标检测的方法。