公开(公告)号：CN117893657A

公开(公告)日：2024-04-16

申请号：CN202410012337.8

申请日：2024-01-02

Applicant: 华南理工大学

Inventor： 许勇 ,  徐非凡 ,  吴斯

IPC: G06T15/00 ,  G06T9/00 ,  G06V40/16 ,  G06V10/77 ,  G06V10/74 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0455

Abstract: 本发明公开了一种基于语言引导三维模型的人脸图像属性控制方法及系统，该方法包括下述步骤：人脸图像经编码器得到原始潜在代码，原始潜在代码经生成器得到反演图像，反演图像经三维重建器得到原始的三维表示，原始的三维表示经渲染器得到三维渲染图像，三维渲染图像经图像编码器得到图像嵌入，语言属性描述经语言编码器得到语言嵌入，图像嵌入映射到属性嵌入空间中，受到语言嵌入指引的图像嵌入映射回图像空间，经映射网络得到目标三维表示，目标三维表示与原始的三维表示的残差与原始潜在代码一并输入到跨模态映射网络中，进而输出潜代码残差，潜代码残差与原始潜在代码相加后经生成器输出二维人脸图像。本发明实现了更加细粒度的面部属性控制。