公开(公告)号：CN113132737B

公开(公告)日：2024-12-06

申请号：CN202110431011.5

申请日：2021-04-21

Applicant: 北京邮电大学

Inventor： 姜竹青 ,  潘婷 ,  韩佳男 ,  门爱东 ,  王海婴

IPC: H04N19/70 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/096

Abstract: 本发明涉及基于泰勒解耦和记忆单元校正的视频预测方法，属于计算机视觉视频技术领域。针对具有时序相干性的自监督视频预测任务，本发明利用分而治之的思想，将视频帧在高维空间上分解为泰勒分量和残差分量，然后再分别对这两部分进行时序上的推导，最后通过融合这两部分的时序推导信息来预测未来的视频帧。其中泰勒分量只利用第一帧的信息进行时序推导，用来挖掘出复杂的视频序列动态数据中存在的物理规律，并用融合了所有之前的帧信息的记忆单元对时序推导的泰勒分量进行校正，用来模拟视频序列中的额外的变量。残差分量的时序推导用简单的3层ConvLSTM实现。实验结果表明，本发明可以有效的进行长距离的视频预测，并在不同的数据集上也有不错的泛化能力。

公开(公告)号：CN113132737A

公开(公告)日：2021-07-16

申请号：CN202110431011.5

申请日：2021-04-21

Applicant: 北京邮电大学

Inventor： 姜竹青 ,  潘婷 ,  韩佳男 ,  门爱东 ,  王海婴

IPC: H04N19/70 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明涉及基于泰勒解耦和记忆单元校正的视频预测方法，属于计算机视觉视频技术领域。针对具有时序相干性的自监督视频预测任务，本发明利用分而治之的思想，将视频帧在高维空间上分解为泰勒分量和残差分量，然后再分别对这两部分进行时序上的推导，最后通过融合这两部分的时序推导信息来预测未来的视频帧。其中泰勒分量只利用第一帧的信息进行时序推导，用来挖掘出复杂的视频序列动态数据中存在的物理规律，并用融合了所有之前的帧信息的记忆单元对时序推导的泰勒分量进行校正，用来模拟视频序列中的额外的变量。残差分量的时序推导用简单的3层ConvLSTM实现。实验结果表明，本发明可以有效的进行长距离的视频预测，并在不同的数据集上也有不错的泛化能力。

公开(公告)号：CN111612145A

公开(公告)日：2020-09-01

申请号：CN202010442785.3

申请日：2020-05-22

Applicant: 北京邮电大学

Inventor： 门爱东 ,  张秋林 ,  姜竹青 ,  路齐硕 ,  韩佳男 ,  曾正欣

IPC: G06N3/08 ,  G06N3/04

Abstract: 本发明针对卷积特征图存在大量的相似性这一现象，提出了SPConv，一种基于异构分离卷积核的模型压缩与加速方法。SPConv将输入特征图分为“有代表性的通道”和“冗余的通道”两部分，并利用计算量较大但是特征提取能力强的卷积核来提取“有代表性的通道”中存有的重要本质信息；而利用计算开销非常小的卷积核来提取“冗余通道”中隐藏的微小细节信息。然后二者再通过本发明设计的“无参数量的特征融合方法”进行特征融合。本发明设计的SPConv是一个即插即用的卷积模块，可以在当前网络架构中直接进行替代。在图片分类和目标检测数据数据集上的实验表明本发明保证了在参数量和浮点数计算量大幅下降的情况下，其模型性能和在GPU上的推理速度均超过了基准方法。