-
公开(公告)号:CN110197167B
公开(公告)日:2021-03-26
申请号:CN201910485182.9
申请日:2019-06-05
Applicant: 清华大学深圳研究生院
Abstract: 本发明提供一种视频动作迁移方法,包括如下步骤:提取源视频和目标动作视频的动作序列并分别生成源姿态和目标姿态;接收源视频的图像输入;进行前景和背景的初步特征提取;分别对背景和前景的初步特征进行融合生成背景的融合特征和前景的融合特征;通过背景的融合特征合成融合特征合成背景;通过前景的融合特征合成融合特征合成前景和前景遮罩,进一步得到动作迁移后的目标视频在t时刻的帧模型;在帧模型中加入损失函数,损失函数包括内容损失函数和对抗损失函数,内容损失函数包括像素级误差损失与感知误差损失,对抗损失函数包括空间对抗损失和多尺度时域对抗损失。构建了具有通用性和灵活性的整体流水线模型。
-
公开(公告)号:CN110197167A
公开(公告)日:2019-09-03
申请号:CN201910485182.9
申请日:2019-06-05
Applicant: 清华大学深圳研究生院
Abstract: 本发明提供一种视频动作迁移方法,包括如下步骤:提取源视频和目标动作视频的动作序列并分别生成源姿态和目标姿态;接收源视频的图像输入;进行前景和背景的初步特征提取;分别对背景和前景的初步特征进行融合生成背景的融合特征和前景的融合特征;通过背景的融合特征合成融合特征合成背景;通过前景的融合特征合成融合特征合成前景和前景遮罩,进一步得到动作迁移后的目标视频在t时刻的帧模型;在帧模型中加入损失函数,损失函数包括内容损失函数和对抗损失函数,内容损失函数包括像素级误差损失与感知误差损失,对抗损失函数包括空间对抗损失和多尺度时域对抗损失。构建了具有通用性和灵活性的整体流水线模型。
-