公开(公告)号：CN114742954A

公开(公告)日：2022-07-12

申请号：CN202210454926.2

申请日：2022-04-27

Applicant: 南京大学

Inventor： 朱昊 ,  郭龙伟 ,  吴萌华 ,  陆元勋 ,  曹汛

IPC: G06T17/00 ,  G06T15/04 ,  G06T15/20 ,  G06V40/16 ,  G06V10/26

Abstract: 本发明公开了一种构建大规模多样化人脸图片和模型数据对的方法。其步骤为：对任意人脸图片进行三维形变模型参数拟合，获得表示人脸三维形状的双线性模型；根据获取图片的年龄范围和性别，从人脸数据库中随机选取获得相适应的纹理贴图；将拟合得到的人脸模型和选取的纹理贴图在均匀光照下按原图片姿态渲染生成与模型一致的人脸图片；训练补全网络，完成对渲染图片中缺失区域的补全；对原获取的人脸图片进行语义分割，获得原图片的面部区域；调整补全后的渲染图片与原图片面部区域一致；最后在面部区域进行泊松融合，获得在面部区域与三维模型高度对应的人脸图片。本发明的方法能够获得大规模多样化的人脸图片和相应的真值三维模型数据对。

公开(公告)号：CN114742954B

公开(公告)日：2025-03-04

申请号：CN202210454926.2

申请日：2022-04-27

Applicant: 南京大学

Inventor： 朱昊 ,  郭龙伟 ,  吴萌华 ,  陆元勋 ,  曹汛

IPC: G06T17/00 ,  G06T15/04 ,  G06T15/20 ,  G06V40/16 ,  G06V10/26

Abstract: 本发明公开了一种构建大规模多样化人脸图片和模型数据对的方法。其步骤为：对任意人脸图片进行三维形变模型参数拟合，获得表示人脸三维形状的双线性模型；根据获取图片的年龄范围和性别，从人脸数据库中随机选取获得相适应的纹理贴图；将拟合得到的人脸模型和选取的纹理贴图在均匀光照下按原图片姿态渲染生成与模型一致的人脸图片；训练补全网络，完成对渲染图片中缺失区域的补全；对原获取的人脸图片进行语义分割，获得原图片的面部区域；调整补全后的渲染图片与原图片面部区域一致；最后在面部区域进行泊松融合，获得在面部区域与三维模型高度对应的人脸图片。本发明的方法能够获得大规模多样化的人脸图片和相应的真值三维模型数据对。

公开(公告)号：CN113066171A

公开(公告)日：2021-07-02

申请号：CN202110421541.1

申请日：2021-04-20

Applicant: 南京大学

Inventor： 朱昊 ,  张艺迪 ,  郭龙伟 ,  曹汛

IPC: G06T17/00 ,  G06T15/20 ,  G06T5/40 ,  G06T7/10 ,  G06T7/80

Abstract: 本发明公开了一种基于三维人脸形变模型的人脸图像生成方法，属于计算机视觉领域。该方法包括：使用三维人脸形变模型渲染多种姿态和光照条件下的人脸图像；修复渲染人脸图像在眼睛和嘴巴处的空洞；基于修复的人脸图像进行人脸语义分割，截取眉毛以下的语义区域；在截取的人脸语义分割图上生成并补全其他语义特征，如头发、耳朵等等；以补全后的人脸语义分割图像为条件生成逼真的人脸肖像，使用渲染的人脸图像替换生成肖像的对应区域，并做图像融合。本发明在三维人脸形变模型的基础上得到完整的人脸肖像，在保留原始三维人脸纹理信息的前提下，为人脸图像添加了头发、衣服、耳朵等难以进行精确三维建模的特征，增加了人脸图像的真实感。

公开(公告)号：CN113066171B

公开(公告)日：2023-09-12

申请号：CN202110421541.1

申请日：2021-04-20

Applicant: 南京大学

Inventor： 朱昊 ,  张艺迪 ,  郭龙伟 ,  曹汛

IPC: G06T17/00 ,  G06T15/20 ,  G06T5/40 ,  G06T7/10 ,  G06T7/80

Abstract: 本发明公开了一种基于三维人脸形变模型的人脸图像生成方法，属于计算机视觉领域。该方法包括：使用三维人脸形变模型渲染多种姿态和光照条件下的人脸图像；修复渲染人脸图像在眼睛和嘴巴处的空洞；基于修复的人脸图像进行人脸语义分割，截取眉毛以下的语义区域；在截取的人脸语义分割图上生成并补全其他语义特征，如头发、耳朵等等；以补全后的人脸语义分割图像为条件生成逼真的人脸肖像，使用渲染的人脸图像替换生成肖像的对应区域，并做图像融合。本发明在三维人脸形变模型的基础上得到完整的人脸肖像，在保留原始三维人脸纹理信息的前提下，为人脸图像添加了头发、衣服、耳朵等难以进行精确三维建模的特征，增加了人脸图像的真实感。

公开(公告)号：CN111985535A

公开(公告)日：2020-11-24

申请号：CN202010690167.0

申请日：2020-07-17

Applicant: 南京大学

Inventor： 朱昊 ,  叶青云 ,  郭龙伟 ,  曹汛

IPC: G06K9/62 ,  G06N3/04 ,  G06N3/08 ,  G06Q10/04 ,  G06T3/40 ,  G06T3/60 ,  G06T5/00 ,  G06T7/11 ,  G06T7/50 ,  G06T17/20

Abstract: 本发明公开了一种通过神经网络优化人体深度图的方法及其装置。该方法所采用的深度神经网络以粗糙深度图和彩色图像作为输入，以精确深度图作为输出；在训练阶段，通过对连续的多帧深度图进行融合优化，获得精度较高的深度图和与其对齐的彩色图片作为训练数据；通过训练，获得能够对粗糙深度图进行优化的神经网络模型。本发明的装置包括图像序列及模型获取模块、模型与图像序列对齐模块、人体模型提取模块、网络数据预处理模块、网络设计模块、网络训练和预测模块。本发明所预测的深度图具有更低的噪声和更平滑的外形，和输入的粗糙深度图相比具有更高的精度。