公开(公告)号：CN114742954B

公开(公告)日：2025-03-04

申请号：CN202210454926.2

申请日：2022-04-27

Applicant: 南京大学

Inventor： 朱昊 ,  郭龙伟 ,  吴萌华 ,  陆元勋 ,  曹汛

IPC: G06T17/00 ,  G06T15/04 ,  G06T15/20 ,  G06V40/16 ,  G06V10/26

Abstract: 本发明公开了一种构建大规模多样化人脸图片和模型数据对的方法。其步骤为：对任意人脸图片进行三维形变模型参数拟合，获得表示人脸三维形状的双线性模型；根据获取图片的年龄范围和性别，从人脸数据库中随机选取获得相适应的纹理贴图；将拟合得到的人脸模型和选取的纹理贴图在均匀光照下按原图片姿态渲染生成与模型一致的人脸图片；训练补全网络，完成对渲染图片中缺失区域的补全；对原获取的人脸图片进行语义分割，获得原图片的面部区域；调整补全后的渲染图片与原图片面部区域一致；最后在面部区域进行泊松融合，获得在面部区域与三维模型高度对应的人脸图片。本发明的方法能够获得大规模多样化的人脸图片和相应的真值三维模型数据对。

公开(公告)号：CN114742954A

公开(公告)日：2022-07-12

申请号：CN202210454926.2

申请日：2022-04-27

Applicant: 南京大学

Inventor： 朱昊 ,  郭龙伟 ,  吴萌华 ,  陆元勋 ,  曹汛

IPC: G06T17/00 ,  G06T15/04 ,  G06T15/20 ,  G06V40/16 ,  G06V10/26

Abstract: 本发明公开了一种构建大规模多样化人脸图片和模型数据对的方法。其步骤为：对任意人脸图片进行三维形变模型参数拟合，获得表示人脸三维形状的双线性模型；根据获取图片的年龄范围和性别，从人脸数据库中随机选取获得相适应的纹理贴图；将拟合得到的人脸模型和选取的纹理贴图在均匀光照下按原图片姿态渲染生成与模型一致的人脸图片；训练补全网络，完成对渲染图片中缺失区域的补全；对原获取的人脸图片进行语义分割，获得原图片的面部区域；调整补全后的渲染图片与原图片面部区域一致；最后在面部区域进行泊松融合，获得在面部区域与三维模型高度对应的人脸图片。本发明的方法能够获得大规模多样化的人脸图片和相应的真值三维模型数据对。

公开(公告)号：CN115984485A

公开(公告)日：2023-04-18

申请号：CN202310129868.0

申请日：2023-02-17

Applicant: 南京大学

Inventor： 朱昊 ,  吴萌华 ,  黄林佳 ,  庄义昱 ,  陆元勋 ,  曹汛

IPC: G06T17/00 ,  G06F40/205 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开一种基于自然文本描述的高保真三维人脸模型生成方法。该方法包括：基于三维人脸数据集，设计人脸描述问卷并手工标注，根据固定句式生成描述语句；将三维人脸模型拓扑一致化，利用主成分分析法建立3DMM模型，利用纹理重映射生成纹理贴图；使用人脸描述的独热编码和CLIP模型编码后的文本嵌入训练文本解析网络，输入文本，输出预测的形状和纹理独热编码；分别训练形状预测网络和纹理生成网络，以生成带纹理的三维人脸模型；优化3DMM系数和纹理贴图来使人脸模型符合抽象描述，并生成最终结果。本发明通过构建一个大规模文本‑三维人脸数据集，使用神经网络预测3DMM系数和纹理贴图，进而从自然文本中生成符合描述的三维人脸模型。