基于合成数据的360度人脸头部参数化模型生成方法

    公开(公告)号:CN119131230A

    公开(公告)日:2024-12-13

    申请号:CN202410591962.2

    申请日:2024-05-14

    Applicant: 南京大学

    Abstract: 本发明公开了一种基于合成数据的360度人脸头部参数化模型生成方法,包括以下步骤:利用普氏变换对多样化的数字人进行人脸对齐,拍摄并创建带表情标签的合成3D人脸数据集;利用主成分分析方法和普氏变换生成拓扑一致的3DMM模型,并获取模型系数;结合3DMM系数和表情网格模型,构建并训练一个能生成多视角多表情图像的参数化三维人头模型;微调模型实现头发与人脸分离,并进行图像编辑;提取视频中的表情系数,通过模型生成具有动态表情的数字人头。本发明方法不仅提高了头部图像生成的真实性和表现力,还增强了模型在生成动态表情和多视角图像方面的能力。

    基于神经泊松求解器的面向多维度信号的融合装置及方法

    公开(公告)号:CN118298137A

    公开(公告)日:2024-07-05

    申请号:CN202410426755.1

    申请日:2024-04-10

    Applicant: 南京大学

    Abstract: 本发明提出了一种基于神经泊松求解器的面向多维度信号的融合装置及方法。其装置包括:多层感知机网络,用于隐式地表示目标信号,该网络的输入为空域坐标,输出为对应坐标的信号值;神经泊松求解器模块,用于根据所述多层感知机网络输出的结果设计损失函数,引导源场景和目标场景进行自然融合;位姿采样模块,用于固定神经辐射场的三维场景融合任务中的相机视角,以改变神经辐射场的训练策略,提高渲染速度和质量。本发明的神经泊松求解器模块及位姿采样模块不借助额外的先验知识,通过对变分问题的神经网络求解,实现对二维、三维信号场景简单有效的自然融合任务。

    一种基于多层动态特征点云的隐式三维场景表征方法

    公开(公告)号:CN115512077A

    公开(公告)日:2022-12-23

    申请号:CN202211224169.6

    申请日:2022-10-08

    Applicant: 南京大学

    Abstract: 本发明公开了一种基于多层动态特征点云的隐式三维场景表征方法,属于计算机视觉领域。该方法包括:使用多层次的隐式特征点云构建三维场景表征;使用平均最近邻距离衡量查询点坐标的局部特征点云复杂度;基于自适应倒距离权重的特征插值;使用深度神经网络将插值特征转换为示性距离;使用示性距离进一步生成三维场景三角网格。本发明使用隐式多层次的特征点云,能够高效且准确地表征三维场景。该方法不仅可以用于表征单个三维物体或场景,也可以用来表征大尺度的三维数据集。

    一种基于三维人脸形变模型的人脸图像生成方法

    公开(公告)号:CN113066171A

    公开(公告)日:2021-07-02

    申请号:CN202110421541.1

    申请日:2021-04-20

    Applicant: 南京大学

    Abstract: 本发明公开了一种基于三维人脸形变模型的人脸图像生成方法,属于计算机视觉领域。该方法包括:使用三维人脸形变模型渲染多种姿态和光照条件下的人脸图像;修复渲染人脸图像在眼睛和嘴巴处的空洞;基于修复的人脸图像进行人脸语义分割,截取眉毛以下的语义区域;在截取的人脸语义分割图上生成并补全其他语义特征,如头发、耳朵等等;以补全后的人脸语义分割图像为条件生成逼真的人脸肖像,使用渲染的人脸图像替换生成肖像的对应区域,并做图像融合。本发明在三维人脸形变模型的基础上得到完整的人脸肖像,在保留原始三维人脸纹理信息的前提下,为人脸图像添加了头发、衣服、耳朵等难以进行精确三维建模的特征,增加了人脸图像的真实感。

    一种基于虚拟现实的无射线牙齿X光根尖片虚拟成像方法

    公开(公告)号:CN110458941B

    公开(公告)日:2021-05-28

    申请号:CN201910687262.2

    申请日:2019-07-29

    Applicant: 南京大学

    Abstract: 本发明公开了一种基于虚拟现实的无射线牙齿X光根尖片虚拟成像方法。该方法包括:搭建VR定位系统,实时追踪与牙片机球管绑定的跟踪器的位置和空间姿态矩阵;扫描并重建牙列的数字化三维模型;为牙齿模型的外壳和内部髓腔分别设置不同的材质和透明度;搭建模拟口腔的虚拟环境;通过网络通信模块将跟踪器的姿态和位置赋值给虚拟摄像机,操纵虚拟摄像机运动;将跟踪器摆放于特定位置和朝向,标定得到虚拟环境中牙列模型位置坐标;将球管对准牙齿,渲染出虚拟根尖片。本发明的方法能够在无放射线发出的情况下,模拟牙齿X光根尖片拍摄过程并渲染出对应图像,提高了牙齿X光根尖片考核中的安全性、可视性和准确性。

    一种权衡立体匹配和视觉外形的三维重建方法

    公开(公告)号:CN106683182A

    公开(公告)日:2017-05-17

    申请号:CN201710021598.6

    申请日:2017-01-12

    Applicant: 南京大学

    Inventor: 曹汛 金威 朱昊

    Abstract: 本发明公开了一种权衡立体匹配和视觉外形的三维重建方法。具体步骤如下:(1)制作样本数据库,包括立体匹配深度图、视觉外形深度图、多视点RGB图和真实深度图;(2)构建深度卷积神经网络;(3)用数据库训练神经网络,获取立体匹配与视觉外形的权重分配值,根据该值调整神经网络结构,直到获取效果较好的神经网络模型;(4)输入立体匹配深度图、视觉外形深度图和RGB图,通过神经网络模型获得新的深度图;(5)用新的深度图重建三维模型。本发明结合立体匹配与视觉外形两种方法,并通过深度神经网络分配权重值,既能改善立体匹配无法重建高光、无纹理区域的问题,又能避免视觉外形无法重建凹面的缺陷,实现对复杂对象的高质量重建。

    一种基于卷积神经网络的视频驱动人脸动画方法

    公开(公告)号:CN106600667A

    公开(公告)日:2017-04-26

    申请号:CN201611138441.3

    申请日:2016-12-12

    Applicant: 南京大学

    Abstract: 本发明公开了一种基于卷积神经网络的视频驱动人脸动画方法,属于计算机图形学领域。该方法包括:S1随机生成表情系数驱使三维模型做出相应的表情;S2将三维表情模型在不同光照、不同姿态下投影生成二维图片;S3用表情系数和得到的二维图片作为训练数据训练神经网络;S4输入视频信号,由神经网络得到每帧图片对应的表情系数;S5由表情系数驱动三维模型。本发明能够基于卷积神经网络产生表情系数驱动人脸动画,训练完成后无需用户进行额外操作、无需进行用户标定,提高了用户的体验性;无需传统的人脸检测、跟踪方法,减少了计算量。

    基于自监督深度学习的无透镜显微成像系统及方法

    公开(公告)号:CN114972284B

    公开(公告)日:2025-03-11

    申请号:CN202210642639.4

    申请日:2022-06-08

    Applicant: 南京大学

    Abstract: 本发明提出一种基于自监督深度学习的无透镜显微成像系统及方法。其系统包括多高度成像模块和基于自监督深度学习的相位恢复模块,多高度成像模块用于采集被观测物体在多个无需标定的高度下的衍射图像,包括依次放置的光源、被观测物体和图像传感器,其中图像传感器可进行轴向运动以改变衍射图像高度;基于自监督深度学习的相位恢复模块用于根据所述衍射图像,即时地重建被观测物体的振幅和相位信息并同时联合优化成像模型参数。本发明将自监督深度学习引入现有无透镜成像系统,通过采集样品的多高度衍射图像信息,并运用自监督深度学习重建样品图像、联合优化成像模型参数,从而对样本实现无标记、无约束、高性能、高质量成像。

    一种基于隐函数的快速高精度多视点人脸三维重建方法

    公开(公告)号:CN114494576B

    公开(公告)日:2025-02-07

    申请号:CN202111595948.2

    申请日:2021-12-23

    Applicant: 南京大学

    Abstract: 本发明公开了一种基于隐函数的快速高精度多视点人脸三维重建方法,属于计算机视觉领域。该方法包括:获取多视点人脸数据;使用人脸参数化模型生成初始的人脸模板,将人脸模板展开成平面构建解空间;采用隐函数表示人脸表面,构建基于隐函数的人脸表面预测网络;构建解空间正则化网络;根据多视点图片生成预测人脸模型的纹理;构建置换贴图预测网络;训练网络,通过输入的多视点图片预测高精度的人脸三维模型。利用本发明方法重建的人脸三维模型,具有很高的精度,保留了脸部毛孔级的细节信息,同时具有重建速度快的优势。

    一种用于街景及移动车辆的可编辑自由视点视图合成方法

    公开(公告)号:CN118982584A

    公开(公告)日:2024-11-19

    申请号:CN202410905867.5

    申请日:2024-07-08

    Applicant: 南京大学

    Abstract: 本发明公开一种用于街景及移动车辆的可编辑自由视点视图合成方法,具体包括如下步骤:将街道场景和虚拟的车辆模型都表示成神经辐射场的形式;结合基于物理渲染的方法估计街道场景和车辆模型的内在属性和场景光照;将场景光照表示为一系列球状高斯函数,从现实世界的场景中转移到虚拟的车辆模型上,结合内在属性渲染出具有很强真实感的虚拟车辆在现实街道中行驶的场景;通过基于深度混合采样的生成网络,进一步提升车辆渲染效果的真实感;基于场景和车辆的内在属性渲染出同一场景在不同光照条件下的效果。本发明对车辆和场景分别建立神经辐射场,将车辆和谐地插入到现实世界的街道场景中,实现大范围,多角度,可变光照的自由视点渲染和场景编辑。

Patent Agency Ranking