一种基于三维人脸形变模型的人脸图像生成方法

    公开(公告)号:CN113066171B

    公开(公告)日:2023-09-12

    申请号:CN202110421541.1

    申请日:2021-04-20

    Applicant: 南京大学

    Abstract: 本发明公开了一种基于三维人脸形变模型的人脸图像生成方法,属于计算机视觉领域。该方法包括:使用三维人脸形变模型渲染多种姿态和光照条件下的人脸图像;修复渲染人脸图像在眼睛和嘴巴处的空洞;基于修复的人脸图像进行人脸语义分割,截取眉毛以下的语义区域;在截取的人脸语义分割图上生成并补全其他语义特征,如头发、耳朵等等;以补全后的人脸语义分割图像为条件生成逼真的人脸肖像,使用渲染的人脸图像替换生成肖像的对应区域,并做图像融合。本发明在三维人脸形变模型的基础上得到完整的人脸肖像,在保留原始三维人脸纹理信息的前提下,为人脸图像添加了头发、衣服、耳朵等难以进行精确三维建模的特征,增加了人脸图像的真实感。

    基于多任务学习的单视图人脸三维重建及纹理生成的方法

    公开(公告)号:CN109255831A

    公开(公告)日:2019-01-22

    申请号:CN201811105233.2

    申请日:2018-09-21

    Applicant: 南京大学

    Abstract: 本发明公开了一种基于多任务学习的单视图人脸三维重建及纹理生成的方法,属于计算机视觉领域。该方法包括:人脸三维模型渲染的特殊视点的选取;特殊视点下生成深度图、纹理图作为真值数据;设计深度信息与纹理信息特征共享的集成学习编码网络;设计由共享特征恢复出深度图的分支解码网络,恢复出深度图;设计由共享特征作为潜变量的互信息最大化生成对抗网络,恢复出纹理展开图;调整各任务损失函数的比例,训练模型;将网络输出的深度图进行插值处理再结合纹理图恢复出带纹理细节的人脸三维网格模型。本发明利用基于多任务学习进行单视图人脸三维重建以及纹理生成与风格迁移,具有速度快、成本低等优势。

    一种基于深度学习的多视点人脸三维模型重建的方法

    公开(公告)号:CN108510573A

    公开(公告)日:2018-09-07

    申请号:CN201810297845.X

    申请日:2018-04-03

    Applicant: 南京大学

    Abstract: 本发明公开了一种基于深度学习的多视点人脸三维模型重建的方法,属于计算机视觉领域。该方法包括:多光照多视点虚拟人脸图像生成;人脸正视图的深度图生成;多个独立并行的卷积神经网络训练;各视角权重分布的神经网络训练;将网络输出的深度图恢复出人脸三维网格模型并进行顶点着色。本发明的方法通过将多视点图像分别进行独立训练恢复出深度图,再训练出各视角权重分布图继而进行深度融合,在保证效率的前提下提高了人脸三维重建模型的精度。

    一种基于深度学习的多视点人脸三维模型重建的方法

    公开(公告)号:CN108510573B

    公开(公告)日:2021-07-30

    申请号:CN201810297845.X

    申请日:2018-04-03

    Applicant: 南京大学

    Abstract: 本发明公开了一种基于深度学习的多视点人脸三维模型重建的方法,属于计算机视觉领域。该方法包括:多光照多视点虚拟人脸图像生成;人脸正视图的深度图生成;多个独立并行的卷积神经网络训练;各视角权重分布的神经网络训练;将网络输出的深度图恢复出人脸三维网格模型并进行顶点着色。本发明的方法通过将多视点图像分别进行独立训练恢复出深度图,再训练出各视角权重分布图继而进行深度融合,在保证效率的前提下提高了人脸三维重建模型的精度。

    基于多任务学习的单视图人脸三维重建及纹理生成的方法

    公开(公告)号:CN109255831B

    公开(公告)日:2020-06-12

    申请号:CN201811105233.2

    申请日:2018-09-21

    Applicant: 南京大学

    Abstract: 本发明公开了一种基于多任务学习的单视图人脸三维重建及纹理生成的方法,属于计算机视觉领域。该方法包括:人脸三维模型渲染的特殊视点的选取;特殊视点下生成深度图、纹理图作为真值数据;设计深度信息与纹理信息特征共享的集成学习编码网络;设计由共享特征恢复出深度图的分支解码网络,恢复出深度图;设计由共享特征作为潜变量的互信息最大化生成对抗网络,恢复出纹理展开图;调整各任务损失函数的比例,训练模型;将网络输出的深度图进行插值处理再结合纹理图恢复出带纹理细节的人脸三维网格模型。本发明利用基于多任务学习进行单视图人脸三维重建以及纹理生成与风格迁移,具有速度快、成本低等优势。

    一种基于虚拟现实的无射线牙齿X光根尖片虚拟成像方法

    公开(公告)号:CN110458941A

    公开(公告)日:2019-11-15

    申请号:CN201910687262.2

    申请日:2019-07-29

    Applicant: 南京大学

    Abstract: 本发明公开了一种基于虚拟现实的无射线牙齿X光根尖片虚拟成像方法。该方法包括:搭建VR定位系统,实时追踪与牙片机球管绑定的跟踪器的位置和空间姿态矩阵;扫描并重建牙列的数字化三维模型;为牙齿模型的外壳和内部髓腔分别设置不同的材质和透明度;搭建模拟口腔的虚拟环境;通过网络通信模块将跟踪器的姿态和位置赋值给虚拟摄像机,操纵虚拟摄像机运动;将跟踪器摆放于特定位置和朝向,标定得到虚拟环境中牙列模型位置坐标;将球管对准牙齿,渲染出虚拟根尖片。本发明的方法能够在无放射线发出的情况下,模拟牙齿X光根尖片拍摄过程并渲染出对应图像,提高了牙齿X光根尖片考核中的安全性、可视性和准确性。

    一种基于三维人脸形变模型的人脸图像生成方法

    公开(公告)号:CN113066171A

    公开(公告)日:2021-07-02

    申请号:CN202110421541.1

    申请日:2021-04-20

    Applicant: 南京大学

    Abstract: 本发明公开了一种基于三维人脸形变模型的人脸图像生成方法,属于计算机视觉领域。该方法包括:使用三维人脸形变模型渲染多种姿态和光照条件下的人脸图像;修复渲染人脸图像在眼睛和嘴巴处的空洞;基于修复的人脸图像进行人脸语义分割,截取眉毛以下的语义区域;在截取的人脸语义分割图上生成并补全其他语义特征,如头发、耳朵等等;以补全后的人脸语义分割图像为条件生成逼真的人脸肖像,使用渲染的人脸图像替换生成肖像的对应区域,并做图像融合。本发明在三维人脸形变模型的基础上得到完整的人脸肖像,在保留原始三维人脸纹理信息的前提下,为人脸图像添加了头发、衣服、耳朵等难以进行精确三维建模的特征,增加了人脸图像的真实感。

    一种基于虚拟现实的无射线牙齿X光根尖片虚拟成像方法

    公开(公告)号:CN110458941B

    公开(公告)日:2021-05-28

    申请号:CN201910687262.2

    申请日:2019-07-29

    Applicant: 南京大学

    Abstract: 本发明公开了一种基于虚拟现实的无射线牙齿X光根尖片虚拟成像方法。该方法包括:搭建VR定位系统,实时追踪与牙片机球管绑定的跟踪器的位置和空间姿态矩阵;扫描并重建牙列的数字化三维模型;为牙齿模型的外壳和内部髓腔分别设置不同的材质和透明度;搭建模拟口腔的虚拟环境;通过网络通信模块将跟踪器的姿态和位置赋值给虚拟摄像机,操纵虚拟摄像机运动;将跟踪器摆放于特定位置和朝向,标定得到虚拟环境中牙列模型位置坐标;将球管对准牙齿,渲染出虚拟根尖片。本发明的方法能够在无放射线发出的情况下,模拟牙齿X光根尖片拍摄过程并渲染出对应图像,提高了牙齿X光根尖片考核中的安全性、可视性和准确性。

Patent Agency Ranking