-
公开(公告)号:CN118042149A
公开(公告)日:2024-05-14
申请号:CN202410096513.0
申请日:2024-01-24
Applicant: 南开大学
IPC: H04N19/503 , H04N19/136
Abstract: 本发明涉及计算机视觉领域,尤其涉及一种基于双分布外推扩散模型的视频预测方法,包括:通过轻量级运动自编码器将条件视频帧变换为条件运动线索;通过对条件运动线索加噪建立扩散模型;通过多层分层运动分布适配器将运动线索外推,转换适配条件帧特征,获得扩散模型的引导线索;根据参考帧的外观特征和获得的引导线索进行运动线索的预测;获得未来运动线索;通过对未来运动线索反复进行迭代,不断细化未来运动线索;获得去噪修正后的未来运动线索;通过轻量级运动解码器变换到未来视频帧;本发明通过对运动线索在更紧凑的运动空间进行建模,并在预测时引入运动线索特征,进一步提升视频预测模型的预测性能和推理速度。