基于光流的单视频双手动态三维运动捕捉方法和装置

    公开(公告)号:CN118015167A

    公开(公告)日:2024-05-10

    申请号:CN202410262086.9

    申请日:2024-03-07

    Applicant: 清华大学

    Inventor: 刘烨斌 李梦成

    Abstract: 本申请提出了一种基于光流的单视频双手动态三维运动捕捉方法,涉及三维视觉与重建技术领域,其中,该方法包括:步骤S1:采集单视角人手图片,并使用双手重建算法确定图片对应的双手姿态;步骤S2:根据采集的图片和确定的双手姿态、人手纹理的先验知识,确定人手纹理贴图,并进一步渲染得到渲染后的图片;步骤S3:通过光流模型计算真实拍摄图片和渲染出的图片之间的光流和光流误差,并根据光流误差优化双手姿态;步骤S4:重复步骤S2、S3,不断优化双手姿态,直至光流误差小于预设阈值或达到最大迭代次数,确定最优双手姿态。采用上述方案的本发明实现了在单视角采集的上半身或者全身图片中捕捉完整的双手运动并实时重建完整的人手三维模型。

    基于四面体网格的可驱动完整人体全息化身表达方法

    公开(公告)号:CN117876630A

    公开(公告)日:2024-04-12

    申请号:CN202410189854.2

    申请日:2024-02-20

    Applicant: 清华大学

    Abstract: 本发明公开了基于四面体网格的可驱动完整人体全息化身表达方法,该方法包括,基于人体动作序列视频的人体关节关键点拟合对应的人体姿态参数;通过四面体化正方体的算法建立标准姿态空间的四面体网格,并获取四面体网格顶点的符号距离值及顶点在三维空间的顶点偏移量;通过等值面提取得到基于顶点偏移量的三角网格模型,并基于三角网格模型的顶点位置信息和人体姿态参数得到非刚性几何变形量;通过扩散蒙皮算法计算三角网格模型中每个顶点的蒙皮权重,并根据非刚性几何变形量和所述蒙皮权重进行基于人体姿态参数的变形。本发明可以高质量的完成基于四面体网格的可驱动完整人体化身表达。

    人体高质量渲染方法、装置、电子设备及存储介质

    公开(公告)号:CN116630513A

    公开(公告)日:2023-08-22

    申请号:CN202310498805.2

    申请日:2023-05-05

    Applicant: 清华大学

    Abstract: 本申请涉及计算机图形学中的三维重建和神经渲染领域,特别涉及一种人体高质量渲染方法、装置、电子设备及存储介质,其中,方法包括:采集目标人体多个视角的二维图像,并提取二维图像的特征,得到多视角图像特征;将相机的视角信息映射到目标维度,得到视角特征,并融合多视角图像特征和视角特征,得到用于渲染的融合特征;以及解码用于渲染的融合特征,得到神经辐射场和隐式表面场,并基于神经辐射场和隐式表面场进行采样渲染,得到目标人体的高质量图像。由此,解决了相关技术中算法要求较高,重建模型大多比较粗糙,表面细节欠缺的问题,将神经辐射场和隐式表面场结合,可以同时实现高精度的几何重建以及高质量的纹理渲染。

    车辆去光照三维重建方法、装置、电子设备和存储介质

    公开(公告)号:CN113538664B

    公开(公告)日:2022-12-13

    申请号:CN202110796234.1

    申请日:2021-07-14

    Applicant: 清华大学

    Abstract: 本申请提出一种车辆去光照三维重建方法和装置。其中方法包括:获取带纹理车辆三维模型,对车辆三维模型在不同视角和不同光照条件下进行渲染,得到原始数据;其中,原始数据包括原始图片和原始图片对应的相机内外参数;搭建生成式对抗神经网络,并根据原始数据对生成式对抗神经网络进行训练;基于目标相机参数的彩色相机采集道路上车辆的RGB图片,并将采集到的RGB图片作为经过训练的生成式对抗神经网络的输入部分,从多角度渲染获取重建场景的密度分布,选取密度值满足预设条件的点作为重建点云;去除点云噪点后采用泊松重建算法得到车辆的表面网格模型,并对表面网格模型进行简化,获得包含去光照彩色纹理和材质信息的车辆三维模型。

    一种头部三维模型的重建方法及电子设备

    公开(公告)号:CN115272565A

    公开(公告)日:2022-11-01

    申请号:CN202210842557.4

    申请日:2022-07-18

    Abstract: 本申请提供一种头部三维模型的重建方法及电子设备,用于提高头部三维模型的质量。包括:针对任一目标对象,将目标对象的多视角RGBD图像输入至预先训练好的头部三维模型重建神经网络中,得到头部三维模型;其中,头部三维模型重建神经网络通过训练方式为:将训练样本输入至头部三维模型重建神经网络,得到各渲染图像的预测sdf值、各预测渲染图像和头部三维模型,其中,训练样本包括头部三维模型在不同视角和光照进行渲染后的各渲染图像和各渲染图像的目标sdf值;利用基于各预测渲染图像和各渲染图像得到的第一中间损失值和基于预测sdf值和目标sdf值得到的第二中间损失值,确定目标损失值;若目标损失值大于指定阈值,则结束训练。

    基于单张RGBD图像的人体三维重建方法及系统

    公开(公告)号:CN112330795B

    公开(公告)日:2022-10-28

    申请号:CN202011080171.1

    申请日:2020-10-10

    Applicant: 清华大学

    Abstract: 本发明公开了一种基于单张RGBD图像的人体三维重建方法及系统,其中,该方法包括:利用深度相机拍摄单张RGBD图像;过高质量人体三维模型渲染出单张RGBD图像并对空间点进行采样得到训练数据;搭建神经网络并使用训练数据进行训练;将单张RGBD测试图像输入训练后的神经网络中进行测试,生成人体三维模型。该方法通过隐式函数表示,建立了一个端到端的神经网络,通过有监督学习,便能够推断出人体以及衣服的几何细节,相较于其他传统重建方法具有简单、便捷的特点。

    基于单帧RGBD图像的实时三维人体重建方法及系统

    公开(公告)号:CN111476884B

    公开(公告)日:2022-10-25

    申请号:CN202010239613.6

    申请日:2020-03-30

    Applicant: 清华大学

    Abstract: 本发明公开了一种基于单帧RGBD图像的实时三维人体重建方法及系统,其中,方法包括:将渲染后的数据集作为训练训练数据,并训练得到负责正面深度图优化的Gdf网络、正面彩色图像去光照的Gcf网络、预测背面深度图的Gdb网络和预测背面彩色图像的Gcd网络;将当前RGBD图像转换到正交视角下以输入到Gdf和Gcf网络中,得到优化和去光照后的正面图像,将正面图像输入到Gdb和Gcb网络中得到预测后的背面图像,并利用正面和背面图像将像素点投影到三维空间中得到带颜色的三维点集,并且将带颜色的三维点集按照邻接拓扑关系连接成带纹理的三维人体模型。该方法利用深度相机采集的RGBD图片精细且快速地进行人体的三维重建。

    基于神经辐射场的动态人体自由视点视频生成方法和装置

    公开(公告)号:CN113099208B

    公开(公告)日:2022-07-29

    申请号:CN202110348745.7

    申请日:2021-03-31

    Applicant: 清华大学

    Abstract: 本发明提出一种基于神经辐射场的动态人体自由视点视频生成方法和装置,其中,方法包括:采集动态单人体图像序列;利用卷积神经网络,对图像序列的每一帧提取人体关节点在图像上的位置;利用人体关节点位置信息,对整个图像序列拟合对应的人体模板动态序列;构建神经辐射场网络;利用人体模板姿态序列和所有图像训练神经辐射场网络;训练完成后,给定任意观察视点,即可对训练好的神经辐射场做体渲染,得到该新视点下的图像。由此,能够自动地实现从单视点动态人体视频到自由视点动态人体视频的转换,得到逼真的自由视点渲染结果。

    自行车三维模型重建方法和装置

    公开(公告)号:CN112883494B

    公开(公告)日:2022-07-19

    申请号:CN202110286477.0

    申请日:2021-03-17

    Applicant: 清华大学

    Abstract: 本发明提出一种自行车三维模型重建方法和装置,其中,方法包括:根据预设的深度神经网络学习RGB图像对应的目标基础几何体,并根据目标基础几何体组成候选三维模型,其中,RGB图像中包含自行车图像区域;将候选三维模型投影到RGB图像中,确定候选三维模型与RGB图像对应的对齐点;根据对齐点确定候选三维模型的纹理特征,并根据纹理特征生成候选三维模型的纹理生成自行车三维模型。由此,可以实现结构化的,具有细粒度几何与纹理特征的自行车三维模型的构建。

Patent Agency Ranking