公开(公告)号：CN114494314B

公开(公告)日：2025-05-06

申请号：CN202111615241.3

申请日：2021-12-27

Applicant: 南京大学

Inventor： 王利民 ,  谈婧 ,  王雨虹 ,  武港山

IPC: G06T7/13 ,  G06F16/75 ,  G06N3/0455

Abstract: 时序边界检测方法及时序感知器，基于变换解码器结构和注意力机制，建立通用的无类别时序动作检测模型，检测模型的编码器中引入少量隐特征查询量，通过交叉注意力机制将输入特征压缩到固定维度，并使用变换解码器对特征进行解码，实现通用无类别时序边界的稀疏检测。本发明通过特征压缩，有效解决了长视频的时序冗余问题，并将二次模型的复杂度降低到线性级别；构建边界查询量和上下文查询量这两种隐特征查询量，以相应处理视频中语义不连贯的边界区域和连贯的上下文区域，充分利用视频的语义结构；提出基于交叉注意力计算的对齐损失函数，使网络快速稳定收敛；使用变换解码器稀疏编码边界位置，避免复杂后处理，提高模型泛化性能。

公开(公告)号：CN114494314A

公开(公告)日：2022-05-13

申请号：CN202111615241.3

申请日：2021-12-27

Applicant: 南京大学

Inventor： 王利民 ,  谈婧 ,  王雨虹 ,  武港山

IPC: G06T7/13 ,  G06F16/75 ,  G06N3/02 ,  G06N3/08

Abstract: 时序边界检测方法及时序感知器，基于变换解码器结构和注意力机制，建立通用的无类别时序动作检测模型，检测模型的编码器中引入少量隐特征查询量，通过交叉注意力机制将输入特征压缩到固定维度，并使用变换解码器对特征进行解码，实现通用无类别时序边界的稀疏检测。本发明通过特征压缩，有效解决了长视频的时序冗余问题，并将二次模型的复杂度降低到线性级别；构建边界查询量和上下文查询量这两种隐特征查询量，以相应处理视频中语义不连贯的边界区域和连贯的上下文区域，充分利用视频的语义结构；提出基于交叉注意力计算的对齐损失函数，使网络快速稳定收敛；使用变换解码器稀疏编码边界位置，避免复杂后处理，提高模型泛化性能。