公开(公告)号：CN112307939B

公开(公告)日：2022-10-04

申请号：CN202011172682.6

申请日：2020-10-28

Applicant: 上海交通大学

Inventor： 马汝辉 ,  王超逸 ,  宋涛 ,  华扬 ,  管海兵

IPC: G06V20/40 ,  G06V10/82 ,  G06V10/774 ,  G06N3/04 ,  G06T7/73

Abstract: 一种利用位置掩码注意力机制的视频帧增强方法，输入相邻两个视频帧的特征图，通过位置信息对齐同一像素在不同帧上的位置，从而利用之前帧的信息增强当前帧的信息量，包括位置距离掩码生成和位置注意力信息融合两部分；位置距离掩码生成根据输入特征图的大小，利用相邻两帧像素点的距离生成一个和特征图大小匹配的掩码；位置注意力信息融合利用生成的位置距离掩码，指导原始的注意力机制赋予对齐的像素点更大的权重，从而生成一个增强的特征图来取代当前帧原始的特征图用于后续处理。本发明基于注意力机制，不需要额外的训练参数，可以达到比原始的注意力机制更快的收敛速度和更好的预测结果，可以广泛利用于各种视频任务中。

公开(公告)号：CN112307939A

公开(公告)日：2021-02-02

申请号：CN202011172682.6

申请日：2020-10-28

Applicant: 上海交通大学

Inventor： 马汝辉 ,  王超逸 ,  宋涛 ,  华扬 ,  管海兵

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04 ,  G06T7/73

Abstract: 一种利用位置掩码注意力机制的视频帧增强方法，输入相邻两个视频帧的特征图，通过位置信息对齐同一像素在不同帧上的位置，从而利用之前帧的信息增强当前帧的信息量，包括位置距离掩码生成和位置注意力信息融合两部分；位置距离掩码生成根据输入特征图的大小，利用相邻两帧像素点的距离生成一个和特征图大小匹配的掩码；位置注意力信息融合利用生成的位置距离掩码，指导原始的注意力机制赋予对齐的像素点更大的权重，从而生成一个增强的特征图来取代当前帧原始的特征图用于后续处理。本发明基于注意力机制，不需要额外的训练参数，可以达到比原始的注意力机制更快的收敛速度和更好的预测结果，可以广泛利用于各种视频任务中。