基于卷积神经网络的视点数据生成方法和装置

    公开(公告)号:CN110443874A

    公开(公告)日:2019-11-12

    申请号:CN201910646645.5

    申请日:2019-07-17

    Applicant: 清华大学

    Abstract: 本发明提出一种基于卷积神经网络的视点数据生成方法和装置,其中,方法包括:获取多种训练场景的离散视点数据集;提取针对同一个训练场景的多帧视点数据中的第一视点的第一视点数据,和第二视点的第二视点数据,并获取第一相机参数,和第二相机参数;将第一彩色图像信息、第二彩色图像信息、第一相机参数和第二相机参数输入至预设的卷积神经网络;通过卷积神经网络估算视点数据;计算第三视点数据与估算视点数据之间的损失值,完成对卷积神经网络的训练,以便于视点图像的生成。本发明结合深度信息进行联合优化产生的新视点能够拥有更稳定的信息,并减少视差变化较大产生的重影和黑洞,实现稀疏视点输入的情况下连续一致的密集视点生成。

    基于门控成像的双目深度估计方法、装置及计算机设备

    公开(公告)号:CN112967332B

    公开(公告)日:2023-06-16

    申请号:CN202110280921.8

    申请日:2021-03-16

    Abstract: 本申请提出一种基于门控成像的双目深度估计方法、装置、计算机设备和存储介质。其中,方法应用于双目门控成像相机系统,该系统包括第一门控相机和第二门控相机,方法包括:获取第一门控相机和第二门控相机下曝光的双目图像对;分别对第一门控相机和第二门控相机各自采集的门控图像组进行深度估计,获取两个视点分别对应的初始深度信息;对每一对不同门控时刻的近红外图像进行双目深度估计,获得每个门控曝光对应的双目立体匹配深度结果;以及根据两个视点分别对应的初始深度信息和双目立体匹配深度结果,获得当前场景下的双目深度信息。本申请利用双目门控相机的成像特性,充分融合门控图像信息和双目立体信息,完成准确精细的场景深度估计。

    基于卷积神经网络的视点数据生成方法和装置

    公开(公告)号:CN110443874B

    公开(公告)日:2021-07-30

    申请号:CN201910646645.5

    申请日:2019-07-17

    Applicant: 清华大学

    Abstract: 本发明提出一种基于卷积神经网络的视点数据生成方法和装置,其中,方法包括:获取多种训练场景的离散视点数据集;提取针对同一个训练场景的多帧视点数据中的第一视点的第一视点数据,和第二视点的第二视点数据,并获取第一相机参数,和第二相机参数;将第一彩色图像信息、第二彩色图像信息、第一相机参数和第二相机参数输入至预设的卷积神经网络;通过卷积神经网络估算视点数据;计算第三视点数据与估算视点数据之间的损失值,完成对卷积神经网络的训练,以便于视点图像的生成。本发明结合深度信息进行联合优化产生的新视点能够拥有更稳定的信息,并减少视差变化较大产生的重影和黑洞,实现稀疏视点输入的情况下连续一致的密集视点生成。

    基于神经辐射场的单图像非漫反射场景三维渲染方法

    公开(公告)号:CN118154757A

    公开(公告)日:2024-06-07

    申请号:CN202410271814.2

    申请日:2024-03-11

    Applicant: 清华大学

    Inventor: 刘烨斌 周玥眉

    Abstract: 本申请提出了一种基于神经辐射场的单图像非漫反射场景三维渲染方法,涉及计算机视觉技术领域,其中,该方法包括:建立非漫反射场景的RGB图像对应的双色反射模型;建立条件扩散模型,以非漫反射场景的RGB图像作为模型输入,输出场景几何估计和双色反射模型对应的场景表面光照反射估计;基于场景表面光照反射估计及场景几何估计构建非漫反射场景下的神经辐射场;通过神经体渲染模型利用构建的神经辐射场对非漫反射场景进行新视点渲染,得到渲染图像。采用上述方案的本发明实现了对单图像非漫反射场景的真实感三维渲染。

    基于门控成像的双目深度估计方法、装置及计算机设备

    公开(公告)号:CN112967332A

    公开(公告)日:2021-06-15

    申请号:CN202110280921.8

    申请日:2021-03-16

    Abstract: 本申请提出一种基于门控成像的双目深度估计方法、装置、计算机设备和存储介质。其中,方法应用于双目门控成像相机系统,该系统包括第一门控相机和第二门控相机,方法包括:获取第一门控相机和第二门控相机下曝光的双目图像对;分别对第一门控相机和第二门控相机各自采集的门控图像组进行深度估计,获取两个视点分别对应的初始深度信息;对每一对不同门控时刻的近红外图像进行双目深度估计,获得每个门控曝光对应的双目立体匹配深度结果;以及根据两个视点分别对应的初始深度信息和双目立体匹配深度结果,获得当前场景下的双目深度信息。本申请利用双目门控相机的成像特性,充分融合门控图像信息和双目立体信息,完成准确精细的场景深度估计。

    多相机立体匹配方法和装置

    公开(公告)号:CN110428462B

    公开(公告)日:2022-04-08

    申请号:CN201910647474.8

    申请日:2019-07-17

    Applicant: 清华大学

    Abstract: 本发明提出一种多相机立体匹配方法和装置,其中,方法包括:根据预设的阵列结构搭建多相机阵列;控制红外散斑发射器向训练场景投射结构光光斑,通过多相机阵列获取多视点图像;提取多视点图像的图像特征,并根据图像特征训练特征提取器,以便于根据训练好的图像特征提取器进行场景深度信息的获取。本发明可以克服传统的RGB匹配特征稀疏以及特征提取和匹配的高计算复杂度,实现高速、准确的立体匹配并能够通过概率推断的方法进一步提高立体匹配结果。

    多相机立体匹配方法和装置

    公开(公告)号:CN110428462A

    公开(公告)日:2019-11-08

    申请号:CN201910647474.8

    申请日:2019-07-17

    Applicant: 清华大学

    Abstract: 本发明提出一种多相机立体匹配方法和装置,其中,方法包括:根据预设的阵列结构搭建多相机阵列;控制红外散斑发射器向训练场景投射结构光光斑,通过多相机阵列获取多视点图像;提取多视点图像的图像特征,并根据图像特征训练特征提取器,以便于根据训练好的图像特征提取器进行场景深度信息的获取。本发明可以克服传统的RGB匹配特征稀疏以及特征提取和匹配的高计算复杂度,实现高速、准确的立体匹配并能够通过概率推断的方法进一步提高立体匹配结果。

Patent Agency Ranking