公开(公告)号：CN117315056A

公开(公告)日：2023-12-29

申请号：CN202311594465.X

申请日：2023-11-27

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 董兴宁 ,  陈雨涛 ,  王清 ,  郭清沛

IPC: G06T9/00 ,  H04N5/262 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/08 ,  G06T5/00 ,  G06T5/50

Abstract: 本说明书实施例提供一种视频编辑方法及装置，其中视频编辑的实现基于预训练的文生图模型，所述文生图模型包括Unet模型。该方法包括：首先，确定与原始视频的n个视频帧对应的n个加噪编码，以及，确定与引导视频编辑的描述文本对应的文本编码。然后，利用文本编码和Unet模型对n个加噪编码分别进行去噪处理，得到n个去噪编码；其中Unet模型包括接续在目标网络层之后的自注意力层，对任意第i个加噪编码进行的去噪处理包括：在Unet模型的自注意力层中，基于目标网络层针对第i个加噪编码的输出，以及目标网络层针对预定的目标加噪编码的输出进行注意力计算。之后，分别对n个去噪编码进行解码处理，得到n个目标图像，用于形成编辑后的目标视频。

公开(公告)号：CN117315056B

公开(公告)日：2024-03-19

申请号：CN202311594465.X

申请日：2023-11-27

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 董兴宁 ,  陈雨涛 ,  王清 ,  郭清沛

IPC: G06T9/00 ,  H04N5/262 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/08 ,  G06T5/70 ,  G06T5/50

Abstract: 本说明书实施例提供一种视频编辑方法及装置，其中视频编辑的实现基于预训练的文生图模型，所述文生图模型包括Unet模型。该方法包括：首先，确定与原始视频的n个视频帧对应的n个加噪编码，以及，确定与引导视频编辑的描述文本对应的文本编码。然后，利用文本编码和Unet模型对n个加噪编码分别进行去噪处理，得到n个去噪编码；其中Unet模型包括接续在目标网络层之后的自注意力层，对任意第i个加噪编码进行的去噪处理包括：在Unet模型的自注意力层中，基于目标网络层针对第i个加噪编码的输出，以及目标网络层针对预定的目标加噪编码的输出进行注意力计算。之后，分别对n个去噪编码进行解码处理，得到n个目标图像，用于形成编辑后的目标视频。