公开(公告)号：CN114092610A

公开(公告)日：2022-02-25

申请号：CN202111389378.1

申请日：2021-11-22

Applicant: 哈尔滨工业大学(深圳)

Inventor： 吴爱国 ,  沈世龙 ,  张颖

IPC: G06T13/00 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于生成对抗网络的人物视频生成方法，所述方法包括如下步骤：一、收集原图像和目标图像；二、对收集到的原图像和目标图像，利用多尺度特征提取模块提取目标姿态和多张原图像之间的多尺度特征；三、将多尺度特征作为全局‑局部模块的输入，使用全局模块建立目标姿态特征与原图像特征之间的全局对应关系，随后使用局部模块对全局模块的输出结果进行修正；四、挑选一张原图像采用池化操作将其重构到特定的尺寸，并使用修正后的流场进行形变操作，得到最终的特征图；五、采用纹理渲染器将特征图从特征空间映射到图像空间，得到最终的生成图像。该方法能够实现保留原图像服装纹理不变的同时按照目标姿态进行视频生成。

公开(公告)号：CN113538608B

公开(公告)日：2023-08-01

申请号：CN202110096181.2

申请日：2021-01-25

Applicant: 哈尔滨工业大学(深圳)

Inventor： 沈世龙 ,  吴爱国 ,  徐勇

IPC: G06T11/00 ,  G06T7/40 ,  G06N3/0475 ,  G06N3/094 ,  G06N3/045 ,  G06N3/0464

Abstract: 本发明提供了一种基于生成对抗网络的可控人物图像生成方法，包括：1、基于关键点的目标姿态图的指导下生成目标语义图；2、基于人体语义分割方法，将原图像的各个属性进行分离，通过一个共享的编码器将其映射到特征空间并将各个属性的特征图进行有序叠加得到总的纹理特征图；3、将目标语义图的目标姿态表示编码到共享的深度特征空间后，利用建立目标姿态与原图像之间的密集对应关系将原图像特征进行形变操作；4、利用目标姿态和形变的原图像特征作为解码器的输入，生成最终的图像。本发明通过建立目标姿态和原图像之间的密集对应关系，将姿态引导下的人物图像生成和服装引导下的人物图像生成有效的结合，实现了高质量可控人物图像生成。

公开(公告)号：CN114092610B

公开(公告)日：2023-04-07

申请号：CN202111389378.1

申请日：2021-11-22

Applicant: 哈尔滨工业大学(深圳)

Inventor： 吴爱国 ,  沈世龙 ,  张颖

IPC: G06T13/00 ,  G06N3/0475 ,  G06N3/08

Abstract: 本发明公开了一种基于生成对抗网络的人物视频生成方法，所述方法包括如下步骤：一、收集原图像和目标图像；二、对收集到的原图像和目标图像，利用多尺度特征提取模块提取目标姿态和多张原图像之间的多尺度特征；三、将多尺度特征作为全局‑局部模块的输入，使用全局模块建立目标姿态特征与原图像特征之间的全局对应关系，随后使用局部模块对全局模块的输出结果进行修正；四、挑选一张原图像采用池化操作将其重构到特定的尺寸，并使用修正后的流场进行形变操作，得到最终的特征图；五、采用纹理渲染器将特征图从特征空间映射到图像空间，得到最终的生成图像。该方法能够实现保留原图像服装纹理不变的同时按照目标姿态进行视频生成。

公开(公告)号：CN113538608A

公开(公告)日：2021-10-22

申请号：CN202110096181.2

申请日：2021-01-25

Applicant: 哈尔滨工业大学(深圳)

Inventor： 沈世龙 ,  吴爱国 ,  徐勇

IPC: G06T11/00 ,  G06T7/40 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供了一种基于生成对抗网络的可控人物图像生成方法，包括：1、基于关键点的目标姿态图的指导下生成目标语义图；2、基于人体语义分割方法，将原图像的各个属性进行分离，通过一个共享的编码器将其映射到特征空间并将各个属性的特征图进行有序叠加得到总的纹理特征图；3、将目标语义图的目标姿态表示编码到共享的深度特征空间后，利用建立目标姿态与原图像之间的密集对应关系将原图像特征进行形变操作；4、利用目标姿态和形变的原图像特征作为解码器的输入，生成最终的图像。本发明通过建立目标姿态和原图像之间的密集对应关系，将姿态引导下的人物图像生成和服装引导下的人物图像生成有效的结合，实现了高质量可控人物图像生成。