无需训练、无需显示修复的带有相机控制的视频生成方法

    公开(公告)号:CN119996853A

    公开(公告)日:2025-05-13

    申请号:CN202510105755.6

    申请日:2025-01-23

    Applicant: 厦门大学

    Abstract: 本发明公开一种无需训练、无需显示修复的带有相机控制的视频生成方法,使得普通基座模型也能具备相机控制能力,该方法在潜在空间中操作,无需额外的修复模型和深度估计模型,实现了简洁轻量化。该视频生成方法在去噪过程中的特定时间步#imgabs0#对每一帧的潜在变量执行重排列操作;通过改变潜在变量的排列顺序模拟特定的摄像机动作;随后,在潜在空间中应用了重采样策略对新视角区域进行填充,同时结合跨帧融合对齐策略,确保采样过程在帧与帧之间保持一致性;引入了一种噪声重注入机制,通过在去噪后期将噪声重新注入潜在变量中,延长去噪时间,缓解因重排列、重采样而造成的分布偏移现象,有效提高了视频生成质量。

Patent Agency Ranking