公开(公告)号：CN118945442A

公开(公告)日：2024-11-12

申请号：CN202310912526.6

申请日：2023-07-24

Applicant: 华为云计算技术有限公司

Inventor： 蒋东生 ,  张亚博 ,  张晓鹏 ,  左旺孟 ,  田奇

IPC: H04N21/8549 ,  G06V10/80 ,  G06N3/045 ,  G06N3/0455 ,  G06N3/0464 ,  H04N21/8543

Abstract: 一种视频生成方法、装置及集群。该方法包括：获取目标视频的文本描述信息和多个结构信息，多个结构信息和多个噪声样本一一对应；在第一时间步中，获取多个噪声样本中的第一噪声样本，第一噪声样本用于生成目标视频中的第一视频帧；利用预训练的扩散模型，基于文本描述信息和第一噪声样本对应的结构信息，去除第一噪声样本的噪声，得到第一噪声样本对应的第一中间样本；以及，更新第一噪声样本对应的第一中间样本的特征，得到第一噪声样本对应的第一输出样本；其中，第一噪声样本的第一输出样本用作第一时间步的下一个时间步的噪声样本，或者第一视频帧。该方法可以在无需训练模型的情况下，生成帧间一致性高的视频。