公开(公告)号：CN113132737B

公开(公告)日：2024-12-06

申请号：CN202110431011.5

申请日：2021-04-21

Applicant: 北京邮电大学

Inventor： 姜竹青 ,  潘婷 ,  韩佳男 ,  门爱东 ,  王海婴

IPC: H04N19/70 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/096

Abstract: 本发明涉及基于泰勒解耦和记忆单元校正的视频预测方法，属于计算机视觉视频技术领域。针对具有时序相干性的自监督视频预测任务，本发明利用分而治之的思想，将视频帧在高维空间上分解为泰勒分量和残差分量，然后再分别对这两部分进行时序上的推导，最后通过融合这两部分的时序推导信息来预测未来的视频帧。其中泰勒分量只利用第一帧的信息进行时序推导，用来挖掘出复杂的视频序列动态数据中存在的物理规律，并用融合了所有之前的帧信息的记忆单元对时序推导的泰勒分量进行校正，用来模拟视频序列中的额外的变量。残差分量的时序推导用简单的3层ConvLSTM实现。实验结果表明，本发明可以有效的进行长距离的视频预测，并在不同的数据集上也有不错的泛化能力。

公开(公告)号：CN113132737A

公开(公告)日：2021-07-16

申请号：CN202110431011.5

申请日：2021-04-21

Applicant: 北京邮电大学

Inventor： 姜竹青 ,  潘婷 ,  韩佳男 ,  门爱东 ,  王海婴

IPC: H04N19/70 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明涉及基于泰勒解耦和记忆单元校正的视频预测方法，属于计算机视觉视频技术领域。针对具有时序相干性的自监督视频预测任务，本发明利用分而治之的思想，将视频帧在高维空间上分解为泰勒分量和残差分量，然后再分别对这两部分进行时序上的推导，最后通过融合这两部分的时序推导信息来预测未来的视频帧。其中泰勒分量只利用第一帧的信息进行时序推导，用来挖掘出复杂的视频序列动态数据中存在的物理规律，并用融合了所有之前的帧信息的记忆单元对时序推导的泰勒分量进行校正，用来模拟视频序列中的额外的变量。残差分量的时序推导用简单的3层ConvLSTM实现。实验结果表明，本发明可以有效的进行长距离的视频预测，并在不同的数据集上也有不错的泛化能力。