公开(公告)号：CN118747862A

公开(公告)日：2024-10-08

申请号：CN202410833892.7

申请日：2024-06-25

Applicant: 北京达佳互联信息技术有限公司

Inventor： 侯良 ,  郑明悟 ,  高远 ,  陶鑫 ,  施侃乐 ,  万鹏飞

IPC: G06V20/40 ,  G06V10/774 ,  G06V10/75 ,  G06F9/50

Abstract: 本公开关于一种图生视频模型生成方法、视频生成方法及装置，该图生视频模型生成方法包括：输入样本图像和样本文本描述信息至预设文生视频模型；基于空间模块对样本图像和样本文本描述信息进行空间特征提取处理，得到第一样本特征处理结果；基于时序自注意力模块对第一样本特征处理结果进行处理，得到第二样本特征处理结果；以及基于运动适配器模块对第一样本特征处理结果进行运动信息控制，得到第三样本特征处理结果；根据第二样本特征处理结果和第三样本特征处理结果生成预测视频数据；根据预设视频数据和样本视频数据更新空间模块和运动适配器模块的参数，得到图生视频模型。本公开能够控制生成视频的运动信息，且降低对系统资源的消耗。