公开(公告)号：CN111950477B

公开(公告)日：2024-02-02

申请号：CN202010824674.9

申请日：2020-08-17

Applicant: 南京大学

Inventor： 孙正兴 ,  骆守桐 ,  武蕴杰 ,  孙蕴瀚

IPC: G06T17/00 ,  G06V40/16 ,  G06V20/40 ,  G06V10/774 ,  G06V10/44 ,  G06T3/02 ,  G06T7/11 ,  G06T7/20 ,  G06T15/50

Abstract: 本发明提供了一种基于视频监督的单图像三维人脸重建方法，包括以下步骤：1)构建单图像人脸重建模块：根据视频人脸片段数据集进行训练，训练得到能够从单张人脸图像中重加出基本形状，形状偏移以及反照率图的模型；2)构建姿态光照分解模块：根据视频人脸片段数据集进行训练，得到能够从单张人脸图像中分解出相机姿态和环境光照；3)整体训练框架：包括数据预处理，训练框架设计以及测试三个部分。本发明实现了端到端的基于视频监督的单图像三维人脸重建，本发明方法可以更有效地从一张人脸图像中重建出人脸的三维几何结构，反照率并恢复(56)对比文件何华赟.数据驱动的三维人体头部重建《.中国优秀硕士学位论文全文数据库 信息科技辑》.2018,(第12期),I138-1745.Elad Richardson等.Learning DetailedFace Reconstruction From a Single Image.《Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition(CVPR)》.2017,1259-1268.Yudong Guo等.CNN-Based Real-TimeDense Face Reconstruction with Inverse-Rendered Photo-Realistic Face Images.《IEEE Transactions on Pattern Analysisand Machine Intelligence》.2018,第41卷(第6期),1294-1307.

公开(公告)号：CN114494386A

公开(公告)日：2022-05-13

申请号：CN202111531301.3

申请日：2021-12-14

Applicant: 南京大学

Inventor： 孙正兴 ,  刘胡伟 ,  孙蕴瀚 ,  张巍

IPC: G06T7/55 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种多频谱图像监督的红外图像深度估计方法，包括以下步骤：1)构建频谱转换模块：根据多频谱图像，得到频谱转换图像；2)构建频谱转换损失模块：根据红外图像，得到视差；3)构建辅助损失模块：利用步骤得到的频谱转换图像和视差通过图像翘曲，计算辅助损失，并利用该损失迭代优化频谱转换网络模型。4)构建深度估计损失模块：利用得到的视差进行图像翘曲，计算深度估计损失，并利用该损失迭代优化深度估计网络模型；5)构建辅助损失模块：利用得到的频谱转换图像和视差通过图像翘曲，计算辅助损失，并利用该损失迭代优化频谱转换网络模型。6)整体框架训练：包括数据预处理，模型框架预热，训练以及测试四个阶段。