公开(公告)号：CN113706714B

公开(公告)日：2024-01-05

申请号：CN202111033534.0

申请日：2021-09-03

Applicant: 中科计算技术创新研究院

Inventor： 高林 ,  袁宇杰 ,  黄熠华

IPC: G06T17/20 ,  G06T15/00 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明涉及一种基于深度图像和神经辐射场的新视角合成方法。适用于计算机图形学以及深度学习领域。本发明的技术方案为：一种基于深度图像和神经辐射场的新视角合成方法，其特征在于：获取场景多个视角的真实RGB‑D图像；基于场景多个视角的RGB‑D图像生成该场景完整的场景彩色点云，场景彩色点云中每个点的颜色值与RGB‑D图像相应位置的颜色对应；基于场景完整的场景彩色点云生成该场景带颜色的三角网格表示；渲染带颜色的三角网格表示生成大量渲染图像；利用渲染图像作为网络真值预训练神经辐射场网络；利用所述RGB‑D图像对应的真实RGB图像作为网络真值继续训练所述神经辐射场网络；通过经渲染图像和RGB图像训练的神经辐射场网络生成指定新视角的图像。(56)对比文件Aihua Mao.STD-Net: Structure-preserving and Top ology-adaptiveDeformation Network for 3D Reconstructionfrom a Single Image《.arXiv》.2020,1-14.Ben Mildenhall.NeRF: RepresentingScenes as Neural Radiance Fields for ViewSynthesis《.ECCV》.2020,99-108.R.M. Lacher.Nonrigid reconstructionof 3D breast surfaces with a low-costRGBD camera for surgical planning andaesthetic evaluation《.Medical ImageAnalysis》.2019,11-25.徐超.基于新视角合成的视频摘要交互式浏览《.电子学报》.2015,2263-2270.常远.基于神经辐射场的视点合成算法综述《.图学学报》.2021,376-384.

公开(公告)号：CN113706714A

公开(公告)日：2021-11-26

申请号：CN202111033534.0

申请日：2021-09-03

Applicant: 中科计算技术创新研究院

Inventor： 高林 ,  袁宇杰 ,  黄熠华

IPC: G06T17/20 ,  G06T15/00 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明涉及一种基于深度图像和神经辐射场的新视角合成方法。适用于计算机图形学以及深度学习领域。本发明的技术方案为：一种基于深度图像和神经辐射场的新视角合成方法，其特征在于：获取场景多个视角的真实RGB‑D图像；基于场景多个视角的RGB‑D图像生成该场景完整的场景彩色点云，场景彩色点云中每个点的颜色值与RGB‑D图像相应位置的颜色对应；基于场景完整的场景彩色点云生成该场景带颜色的三角网格表示；渲染带颜色的三角网格表示生成大量渲染图像；利用渲染图像作为网络真值预训练神经辐射场网络；利用所述RGB‑D图像对应的真实RGB图像作为网络真值继续训练所述神经辐射场网络；通过经渲染图像和RGB图像训练的神经辐射场网络生成指定新视角的图像。