公开(公告)号：CN109978021B

公开(公告)日：2022-09-16

申请号：CN201910172420.0

申请日：2019-03-07

Applicant: 北京大学深圳研究生院

Inventor： 王文敏 ,  李炜棉 ,  黄钟毅

IPC: G06V10/77 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公布了一种基于文本不同特征空间的双流式视频生成方法，包括：文本特征提取过程、双流式视频生成过程和对抗性训练过程。本发明对解析了输入的文本内容，并利用关注机制得到的特征信息进行了分离，分别提取了外观特征空间与运动特征空间的信息；采用双流式视频生成方式，最大化地利用单一模型对指定特征的学习能力；使用对抗性训练过程，从每一帧的质量和整体运动的连贯性两方面来指导和训练模型，同时加入文本特征来强化训练过程，使得生成的视频可以符合输入文本描述，实现生成的准确性。本发明方法能够实现智能化生成，在素材积累和数据集自动生成方面具有广泛的市场需求和应用前景。

公开(公告)号：CN109978021A

公开(公告)日：2019-07-05

申请号：CN201910172420.0

申请日：2019-03-07

Applicant: 北京大学深圳研究生院

Inventor： 王文敏 ,  李炜棉 ,  黄钟毅

IPC: G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公布了一种基于文本不同特征空间的双流式视频生成方法，包括：文本特征提取过程、双流式视频生成过程和对抗性训练过程。本发明对解析了输入的文本内容，并利用关注机制得到的特征信息进行了分离，分别提取了外观特征空间与运动特征空间的信息；采用双流式视频生成方式，最大化地利用单一模型对指定特征的学习能力；使用对抗性训练过程，从每一帧的质量和整体运动的连贯性两方面来指导和训练模型，同时加入文本特征来强化训练过程，使得生成的视频可以符合输入文本描述，实现生成的准确性。本发明方法能够实现智能化生成，在素材积累和数据集自动生成方面具有广泛的市场需求和应用前景。