-
公开(公告)号:CN110428493A
公开(公告)日:2019-11-08
申请号:CN201910631389.2
申请日:2019-07-12
Applicant: 清华大学
Abstract: 本发明公开了一种基于网格形变的单图像人体三维重建方法及系统,其中,该方法包括以下步骤:采集单图片和人体模型,以及人体模型对应的初始人体三维模型,并利用初始人体三维模型构建人体模型数据库,以作为卷积神经网络的初始数据;对初始数据进行渲染得到卷积神经网络训练时的输入图片;利用数据流编程深度学习平台构建卷积神经网络,以根据输入图片提取出人体关节位置概率分布图;对单图片进行人体分割标注,得到人体分割标注图;根据单图片、人体分割标注图和人体关节位置概率分布图对卷积神经网络进行训练,得到最终人体三维模型。该方法可以更轻量且更好地表现人体模型细节特征,得到拥有更多三维几何细节特征的人体模型。
-
公开(公告)号:CN110415336A
公开(公告)日:2019-11-05
申请号:CN201910630399.4
申请日:2019-07-12
Applicant: 清华大学
Abstract: 本发明公开了一种高精度人体体态重建方法及系统,其中,该方法包括以下步骤:获取人体视频,并选取人体视频的关键帧;搭建深度神经网络获取关键帧的人体轮廓信息和二维关节信息;构造参数化人体模型,利用人体轮廓信息和二维关节信息对参数化人体模型进行约束,获得初始化人体姿态参数;利用二维关节信息和人体轮廓信息优化初始化人体姿态参数,并选取人体视频的全部帧,构造联合约束,再次优化初始化人体姿态参数,利用高斯牛顿公式迭代两次优化过程,直至相邻两次迭代的能量差值小于预设阈值。该方法利用少数几个角度的人体RGB信息,可以更好地重建人体模型,使得重建得到的人体模型更精确地反应真实人体身材。
-
公开(公告)号:CN108776990A
公开(公告)日:2018-11-09
申请号:CN201810315991.0
申请日:2018-04-10
Applicant: 清华大学
IPC: G06T17/00
Abstract: 本发明公开了一种基于三阶球面谐波的动态场景高精度实时三维重建方法及系统,其中,方法包括:通过RGBD相机对动态场景进行拍摄,以得到深度和彩色图像序列;将单张深度图像变换为三维点云,获取三维点云和重建模型顶点及参数化人体模型顶点之间的匹配点对;根据匹配点联合能量函数,对能量函数进行求解,以根据求解结果将重建模型的几何和表面反射率分别与三维点云和彩色图像序列进行对齐;通过深度图自适应性地更新和补全对其后的三维模型,并通过彩色图像自适应地补全和更新场景表面的反射率信息。该方法求解准确鲁棒,简单易行,运行速度为实时,拥有广阔的应用前景,可以在PC机或工作站等硬件系统上快速实现。
-
公开(公告)号:CN108629831A
公开(公告)日:2018-10-09
申请号:CN201810317074.6
申请日:2018-04-10
Applicant: 清华大学
Abstract: 本发明公开了一种基于参数化人体模板和惯性测量的三维人体重建方法及系统,其中,方法包括:对人体进行深度图拍摄以得到单张深度图像;读取人体四肢上绑定的惯性测量单元的转向测量读数;获取三维点云和重建模型顶点及参数话人体模型顶点之间的匹配点对;根据匹配点对和转向测量读数得到能量函数和人体姿态参数;对能量函数进行求解,重建模型和参数化人体模板与三维点云进行对齐,以得到对其后的模型;优化转换关系;通过深度图更新和补全对其后的模型,并进一步优化参数化人体模板的人体形态参数。该方法求解准确鲁棒,简单易行,运行速度为实时,拥有广阔的应用前景,可以在PC机或工作站等硬件系统上快速实现。
-
公开(公告)号:CN108615221A
公开(公告)日:2018-10-02
申请号:CN201810315188.7
申请日:2018-04-10
Applicant: 清华大学
Abstract: 本发明公开了一种基于剪切二维极线平面图的光场角度超分辨率方法及装置,其中,方法包括:根据低角度分辨率光场提取多个二维极线平面图;获取多个二维极线平面图的每个二维极线平面图的空间低频信息;得到多个剪切操作后的低频极线平面图;达到目标角度分辨率;通过卷积神经网络对上采样后的低频极线平面图重建出角度信息;得到角度超分辨率后的高空间角度分辨率的极线平面图;得到多个在不同视差下的高角度空间分辨率极线平面图;得到高空间角度分辨率极线平面图;输出高角度分辨率光场。该方法对一定稀疏角度分辨率的大视差光场均能达到优良的角度超分辨率效果,具有很强的鲁棒性,且对极线平面图所对应的视差图中的噪声也具有很强的鲁棒性。
-
公开(公告)号:CN108429889A
公开(公告)日:2018-08-21
申请号:CN201810183539.3
申请日:2018-03-06
Applicant: 深圳市未来媒体技术研究院 , 清华大学深圳研究生院
CPC classification number: H04N5/247 , G06T7/90 , H04N5/262 , H04N5/2628
Abstract: 一种高光谱十亿像素视频生成方法,包括:图像采集;图像数据预处理:将局部视角相机中的每幅图像的尺寸依据fr/fl降低,fr为局部视角相机的聚焦长度,fl为参考相机的聚焦长度;全局变换迭代:找到每一个局部视角图像和其在参照图像中对应的参照图像块之间具有鲁棒性的特征一致性;基于网孔的变换迭代:基于网孔变换的单应方法改善特征一致性;颜色校准及重叠处理:将任一参照块的颜色风格赋予对应的局部视角图像,将参考的颜色风格转移至局部视角图像中,转移方法依照仿射颜色映射模型;在参照块上应用Graphcut算法以替换参考块上重叠的局部视角图像。利用本发明的方法,可以高效准确地获取高品质十亿像素视频。
-
公开(公告)号:CN105405158B
公开(公告)日:2018-08-03
申请号:CN201510727252.9
申请日:2015-10-30
Applicant: 清华大学
Abstract: 本发明提出种十亿像素视频的实现方法,包括:采集十亿像素背景图像,其中,相邻的行和/或列对应的背景图像中存在重叠区域,重叠区域的面积与对应的背景图像的总面积的比例大于预设值;采集十亿像素背景图像对应场景内的动态视频,并以第存储方式单独存储;根据重叠区域的特征点对多个背景图像进行拼接以得到完整的十亿像素背景图像;对动态视频进行滑动窗口搜索;采用直方图匹配方式对动态视频对应的前景与十亿像素背景图像的背景进行亮度匹配,以将动态视频嵌入十亿像素背景图像中,得到十亿像素视频,其中,以第二存储方式单独存储十亿像素背景图像。本发明易于实现,无需复杂的采集装置,具有有效的数据存储方式及真实感强的交互方式。
-
公开(公告)号:CN108230438A
公开(公告)日:2018-06-29
申请号:CN201711461073.0
申请日:2017-12-28
Applicant: 清华大学
Abstract: 本发明公开了一种声音驱动辅助侧脸图像的人脸重建方法及装置,其中,方法包括:提取训练数据集;获取语音特征和表情参数的对应关系;提取每一帧对应的语音波形窗口的语音特征,并将特征信息存储到输入文件中;得到每一帧语音信息对应的人脸表情参数;获取侧脸的特征点信息,以通过深度学习方法获取侧脸图像与脸部特征点的对应关系;用已有的人脸模型拟合侧脸上的特征点位置,求解人脸的表情参数和形状参数,并将通过声音信息求解得到的表情参数引入进行加权;将拟合后的人脸模型进行纹理贴图和匹配,以获得最终的人脸重建结果。该方法可以使得较难通过侧脸图像获得的嘴部运动信息得到较好的跟踪和重建,有效提高重建的可靠性。
-
公开(公告)号:CN108171791A
公开(公告)日:2018-06-15
申请号:CN201711443834.X
申请日:2017-12-27
Applicant: 清华大学
Abstract: 本发明公开了一种基于多深度摄像机的动态场景实时三维重建方法及装置,其中,方法包括:对彩色图像进行背景分割,提取并匹配图像SIFT特征点,并且对深度图像做双边滤波预处理;通过多视角非刚性对齐逐帧拼接深度图像,以得到矫正后的深度图像;通过非刚性变形将参考帧中的静态模型与矫正后的深度图像观测对齐;在当前帧融合几何模型,以重建拓扑变化以及处理跟踪丢失的情况。该方法可以有效保证实时性,且提高鲁棒性,提高运行速度,简单易实现。
-
公开(公告)号:CN108053368A
公开(公告)日:2018-05-18
申请号:CN201711362812.0
申请日:2017-12-18
Applicant: 清华大学
Abstract: 本发明公开了一种跨尺度分辨率的光场图像超分辨率及深度估计方法及装置,其中,方法包括:通过单张图像超分辨率SISR方法进行上采样;将位于中间视角的高分辨率图像下采样后,利用SISR方法进行上采样,并获取误差图;获取视差图并利用光场固有属性对视差图进行全局优化,同时进行补洞操作,使得视差图估计无法估计到的区域进行重新估计;利用全局视差图对误差图进行传递,使得图像恢复高分辨率信息,以实现光场的超分辨率重建;根据超分辨率后的光场图像进行场景的深度估计,获取深度估计结果。该方法可以利用全局视差图对误差图进行传递,使得图像恢复高分辨率信息,以通过高分辨光场获取场景深度信息,并且提高鲁棒性,计算速度快。
-
-
-
-
-
-
-
-
-