公开(公告)号：CN119444896A

公开(公告)日：2025-02-14

申请号：CN202411480220.9

申请日：2024-10-23

Applicant: 厦门大学

Inventor： 曹刘娟 ,  宋泉鉴 ,  林明宝 ,  詹翁怡 ,  纪荣嵘

IPC: G06T11/00 ,  G06N3/0455 ,  G06N3/0464 ,  G06T3/04 ,  G06T11/60 ,  G06N3/0475

Abstract: 本发明公开了一种无需训练的局部视频风格迁移方法及系统，方法包括：内容分支对原视频的视频帧进行去噪反转，获得不同时间戳的内容潜在特征Zt(t＝1→T)；对原视频进行去噪反转的过程中，对原视频的第一帧视频帧打上掩码，基于点匹配将掩码传递到原视频的所有视频帧；风格分支对参考图像进行去噪反转，获得不同时间戳的风格潜在特征#imgabs0#编辑分支中，令初始的迁移潜在特征#imgabs1#基于初始的迁移潜在特征进行去噪，去噪过程中基于AdaIN的风格迁移技术对迁移潜在特征进行风格迁移，获得风格迁移结果，通过解码器逐帧解码到像素表示，作为局部风格迁移后的视频。本发明可以满足用户对局部区域进行迁移的需求，同时减少迁移过程中带来的闪烁与伪影。

公开(公告)号：CN119996853A

公开(公告)日：2025-05-13

申请号：CN202510105755.6

申请日：2025-01-23

Applicant: 厦门大学

Inventor： 曹刘娟 ,  宋泉鉴 ,  林志航 ,  曾展鹏 ,  黄钊宏 ,  纪荣嵘

IPC: H04N23/95 ,  H04N5/262 ,  H04N21/854

Abstract: 本发明公开一种无需训练、无需显示修复的带有相机控制的视频生成方法，使得普通基座模型也能具备相机控制能力，该方法在潜在空间中操作，无需额外的修复模型和深度估计模型，实现了简洁轻量化。该视频生成方法在去噪过程中的特定时间步#imgabs0#对每一帧的潜在变量执行重排列操作；通过改变潜在变量的排列顺序模拟特定的摄像机动作；随后，在潜在空间中应用了重采样策略对新视角区域进行填充，同时结合跨帧融合对齐策略，确保采样过程在帧与帧之间保持一致性；引入了一种噪声重注入机制，通过在去噪后期将噪声重新注入潜在变量中，延长去噪时间，缓解因重排列、重采样而造成的分布偏移现象，有效提高了视频生成质量。