公开(公告)号：CN118172263A

公开(公告)日：2024-06-11

申请号：CN202410426539.7

申请日：2024-04-10

Applicant: 南京大学

Inventor： 龚雯 ,  白家杨 ,  黄乐天 ,  张岩 ,  过洁

IPC: G06T5/50 ,  G06T5/60 ,  G06N3/0499 ,  G06N3/084

Abstract: 本发明公开了一种自训练少样本神经辐射场的新视图合成方法，包括：对数据集进行预处理，选取标签数据，形成原始输入数据；初始化神经辐射场模型，使用原始输入数据对NeRF模型训练一个轮次，得到初始化神经辐射场模型，即首个迭代轮次的神经辐射场模型；生成第一类和第二类伪标签并保存；将标签数据、第一类和第二类伪标签作为新一轮迭代的神经辐射场模型的输入数据，并作为训练数据，进入新一轮神经辐射场模型的迭代，引入不确定性感知机制进行学习，重复执行上述步骤，并进行迭代训练，获得最终的神经辐射场模型；利用最终的神经辐射场模型进行预测，并渲染，完成所述的自训练少样本神经辐射场的新视图合成。

公开(公告)号：CN116228986A

公开(公告)日：2023-06-06

申请号：CN202310284200.3

申请日：2023-03-22

Applicant: 南京大学

Inventor： 何振 ,  白家杨 ,  杨珊 ,  张岩 ,  过洁 ,  陈振宇 ,  郭延文

IPC: G06T17/00 ,  G06T15/00 ,  G06T19/00 ,  G06T3/00 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于局部到全局补全策略的室内场景光照估计方法，该方法旨在从单张限制视角室内场景图片的任意位置估计出光照情况，并将室内场景光照估计问题分解为三个子任务：基于深度的图像变形、低动态范围(low dynamic range，LDR)全景图补全和高动态范围(high dynamic range，HDR)重建。基于第二个子任务，该方法提出一种从局部到全局的全景图补全策略，该策略首先对第一阶段变形后输出的稀疏的全景图进行深度引导的局部补全，以填补小而密集的空洞；之后通过立方体贴图投影法和一个能够拟合长距离依赖关系的transformer网络(称作PanoTransformer)进行合理的全局补全；最终能够在输入图片任意位置恢复出物理上合理且带有纹理细节的全景图，以捕捉空间变化的室内光照。