一种人体三维重建方法、系统、设备、介质及产品

    公开(公告)号:CN119810334A

    公开(公告)日:2025-04-11

    申请号:CN202510012314.1

    申请日:2025-01-06

    Applicant: 南京大学

    Inventor: 于耀 赵云飞 周余

    Abstract: 本申请公开了一种人体三维重建方法、系统、设备、介质及产品,涉及计算机视觉和稀疏视角三维重建技术领域,该方法包括:获取待拍摄人体的多视角RGB图像;对所述多视角RGB图像进行预处理,得到预处理后的多视角RGB图像;将预处理后的多视角RGB图像输入至多视角人体深度图预测模型中,得到主视角人体深度预测图;将多幅主视角人体深度预测图进行融合,得到融合后的主视角人体深度预测图;基于融合后的主视角人体深度预测图,采用三维重建方法进行人体三维重建,得到人体三维重建结果;所述人体三维重建结果为人体表面网格。本申请提高了人体三维重建结果的表面平滑度。

    一种自监督单视图三维发丝模型重建方法及系统

    公开(公告)号:CN113129347B

    公开(公告)日:2023-12-12

    申请号:CN202110453009.8

    申请日:2021-04-26

    Applicant: 南京大学

    Abstract: 本发明涉及一种自监督单视图三维发丝模型重建方法及系统,获取肖像图像样本的发型区域占用图、发丝纹理方向图和投影视角,构建初始的单视图3D发型重建网络,以发型区域占用图和2D占用图的对应像素的差值以及发丝纹理方向图和2D方向图的对应像素的差值构建损失函数,对初始的单视图3D发型重建网络进行训练,最后将待重建肖像图像输入训练好的单视图3D发型重建网络,获得3D数字化发型。本发明在网络训练时无需2D到3D的真实数据对做监督,而是利用单张照片作为输入,借助可微分体积场重投影,将三维数据映射回二维,以输入本身作为约束,完成自监督,利用训练好的单视图3D发型重建网络实现了一种端到端的三维发型重建,让用(56)对比文件刘海舟等.基于头皮层特征点的三维头发重用方法《.计算机应用》.2014,第34卷(第10期),全文.Ligang Cheng等.Automatic HairModeling from One Image《.2019International Conference on VirtualReality and Visualization (ICVRV)》.2020,全文.赵青;余元辉;蔡囯榕.融合表观与曲率特征的三维点云眉毛提取.集美大学学报(自然科学版).2020,(03),全文.

    一种脊柱关键点检测和Cobb角计算方法、系统

    公开(公告)号:CN116309495A

    公开(公告)日:2023-06-23

    申请号:CN202310298881.9

    申请日:2023-03-24

    Applicant: 南京大学

    Inventor: 于耀 季越 周余

    Abstract: 本发明公开一种脊柱关键点检测和Cobb角计算方法、系统,涉及图像处理技术领域,通过构建包括依次连接的热图预测模块、热图加权模块和坐标转换模块的训练好的关键点检测模型,在获取待检测脊柱的x光片之后,便可直接将x光片输入至训练好的关键点检测模型,即可自动得到待检测脊柱的关键点坐标,从而可自动检测脊柱关键点,后续可进一步依据自动检测得到的脊柱关键点坐标来自动计算Cobb角,从而实现Cobb角的自动计算,相较于人工测量方式,大大提高了计算精度。

    基于变化光源人脸图像的人脸本质参数确定方法及系统

    公开(公告)号:CN113052953A

    公开(公告)日:2021-06-29

    申请号:CN202110411842.6

    申请日:2021-04-16

    Applicant: 南京大学

    Abstract: 本发明公开了一种基于变化光源人脸图像的人脸本质参数确定方法,所述确定方法,首先,固定相机视角,获取不同光照条件下的多张人脸图像;然后,由于反射率和光照球谐系数无法得到事先粗略估计,因而先固定法向量,对反射率和光照进行估计。再固定光照参数和人脸反射率,对法向量进行优化。本发明采用不同光源下的多张人脸图像进行人脸的本质参数的估计,克服了单张人脸图像估计的局限性,能够更加准确的对人脸的各个本质参数进行估计。

    一种基于自监督学习的三维人脸模型重建方法及系统

    公开(公告)号:CN112950775A

    公开(公告)日:2021-06-11

    申请号:CN202110457570.3

    申请日:2021-04-27

    Applicant: 南京大学

    Abstract: 本发明公开了一种基于自监督学习的三维人脸模型重建方法及系统。该方法包括:基于单张人脸图片,利用训练好的编码神经网络预测粗糙三维人脸模型参数;基于所述粗糙三维人脸模型参数构建粗糙三维人脸模型;将所述粗糙三维人脸模型进行UV展开并进行渲染,得到第一渲染图像;将所述单张人脸图像反投影到所述粗糙三维人脸模型后进行UV展开并进行渲染,得到第二渲染图像;基于所述第一渲染图像和所述第二渲染图像,利用训练好的置换贴图预测神经网络预测深度方向置换贴图;将所述深度方向置换贴图叠加到所述粗糙三维人脸模型上,得到重建的三维人脸模型。本发明无需大量采集真实三维人脸模型的情况下,仅使用单张图片即可得到精细的三维人脸模型。

    一种基于隐式特征编码的云层运动预测方法及系统

    公开(公告)号:CN111563917A

    公开(公告)日:2020-08-21

    申请号:CN202010418825.0

    申请日:2020-05-18

    Applicant: 南京大学

    Abstract: 本发明涉及一种基于隐式特征编码的云层运动预测方法及系统。所述方法包括获取云层图像训练集;构建以当前帧的云层图像为输入,以未来帧的云层图像为输出的云层运动预测网络;根据所述云层图像训练集训练所述云层运动预测网络,得到训练好的云层运动预测网络;获取待预测区域的当前帧的云层图像;根据所述待预测区域的当前帧的云层图像和所述训练好的云层运动预测网络确定所述待预测区域的未来帧的云层图像。本发明所提供的一种基于隐式特征编码的云层运动预测方法及系统,提高云量预测的实时性和准确性,并真实的反应云层的分布。

    一种基于模版形变的三维人脸重建方法

    公开(公告)号:CN110276825A

    公开(公告)日:2019-09-24

    申请号:CN201810232630.X

    申请日:2018-03-15

    Applicant: 南京大学

    Inventor: 周余 何开圣 于耀

    Abstract: 本发明公开一种基于模版形变的三维人脸重建方法,属于计算机视觉领域。本发明解决的问题是:针对一般三维人脸重建都需要严苛的受控环境下进行,算法无法较好的鲁棒性,提出一种基于三维模版三维人脸重建的算法。本发明的核心部分在于以三维的平均脸模版作为输入,提供一种先验知识,再利用二维图片的关键点信息以及光照、形状等对人脸的细节做修复,从而得到精准有细节的人脸模型。本发明的算法输入可以是单张或者多张人脸图片,不需要严苛的人脸光照、角度以及复杂的实验场景,在无约束的情况下可以得到精准的目标三维人脸。

    一种用于虚拟试衣的布料实时仿真方法

    公开(公告)号:CN108629837A

    公开(公告)日:2018-10-09

    申请号:CN201810021285.5

    申请日:2018-01-09

    Applicant: 南京大学

    Inventor: 周余 苏统奎 于耀

    Abstract: 本发明提出了一种用于虚拟试衣的布料实时仿真方法,属于虚拟试衣技术领域。本发明解决的问题是:针对现有3D虚拟试衣仿真速度慢的问题,提出了一种基于GPU的布料快速仿真方法。本发明的主要算法的核心部分在于最大化的利用GPU的并行性快速构建,更新层次包围盒,提出了针对相应大步长积分的碰撞检测与处理方法。本发明将整个布料仿真系统置于GPU上,提出相应的流处理算法,通过与目前已有的一些方法相比较,本发明提出的方法在保证布料仿真的高真实度基础上,能够更加快速的实现布料仿真,实现了虚拟试衣应用中衣物的实时仿真,同时也适用于其他布料仿真领域。

    一种基于三视角变换的真实场景实时虚拟漫游系统

    公开(公告)号:CN106648109A

    公开(公告)日:2017-05-10

    申请号:CN201611271591.1

    申请日:2016-12-30

    Applicant: 南京大学

    Inventor: 周余 李倩倩 于耀

    Abstract: 本发明是一种基于三视角变换的真实场景实时虚拟漫游系统,属于计算机视觉领域。本发明解决的问题是:用普通相机21在不同位置、不同角度拍摄同一场景的三张照片,用户佩戴上虚拟现实头盔23就可以实现真实场景的虚拟漫游,而不需要传统方法的3D建模或者详细的几何信息。本发明系统的主要算法的核心部分在于三张图片同时变换到同一平面并实时计算出中间视角。本发明在传统的两张图片后向变换算法的基础上,进一步提出了一种三张图片后向变换算法,使之能够适应大视差的情况。本发明连接了计算机视觉领域上游的数据采集和下游的视觉控制技术,极大地促进了虚拟现实、街景服务等应用的发展。

    一种非侵入式大运动条件下人体测量方法

    公开(公告)号:CN103337083B

    公开(公告)日:2016-03-09

    申请号:CN201310291320.2

    申请日:2013-07-11

    Applicant: 南京大学

    Abstract: 本发明是一种针对公开场合下处于大运动中人体体征参数的测量方法及“运动恢复—人体建模”串行测量系统,本发明在不限制测量目标运动状态以及测量目标所着衣物的条件下,首先通过多层运动滤波器,全自动地连续恢复时间轴上人体运动参数;将多个姿态下的人体模型经由深度图像优化,并根据事先测定的“深度误差—单位法向内积”曲线空时加权,获得一致平均模型;以一致模型与原始模型的基线差方向作为方向约束,对多帧下的优化模型最优基线差进行时空分析,最终借助运动信息,消除衣物影响,真实测量人体体征参数。本方法对测量目标属于非侵入测量,既不限制测量目标的运动状态,也不限制测量目标的衣着状态,可于日常公开场合得到广泛应用。

Patent Agency Ranking