公开(公告)号：CN114723880A

公开(公告)日：2022-07-08

申请号：CN202210291175.7

申请日：2022-03-23

Applicant: 南京大学

Inventor： 张岩 ,  谢吉雨 ,  贾晓玉 ,  张化鹏 ,  郑鹏飞 ,  何振 ,  刘琨 ,  皋婕 ,  刘馨蓬

IPC: G06T17/00 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于多视角成本体积的卷积网络三维模型重建方法，包括：通过一个共享权重的编码网络，提取输入的多视角图片数据的特征图；依据参考相机视点的平行平面，将特征图扭曲到不同的深度，得到每个特征图对应的特征体积；采用基于方差的成本度量将多个特征体积融合成一个成本体积；采用3D网格推理对得到的成本体积进行降噪处理，重建出最终的体素，完成基于多视角成本体积的卷积网络三维模型重建。本发明使用三维网格推理，添加几何约束，来产生高质量的输出；将每个视角都作为一次参考视角，保证了最终的结果与输入的无关性，从而提高了网络的合理性；选取新的深度值，使得产生的结果的形状与用来监督的形状的相吻合。

公开(公告)号：CN114693923A

公开(公告)日：2022-07-01

申请号：CN202210221944.6

申请日：2022-03-09

Applicant: 南京大学

Inventor： 张岩 ,  张化鹏 ,  刘琨 ,  谢吉雨 ,  贾晓玉 ,  郑鹏飞 ,  何振

IPC: G06V10/26 ,  G06K9/62 ,  G06F17/16

Abstract: 本发明提供了一种基于上下文和注意力的三维点云语义分割方法，包括：步骤1，对输入三维点云模型数据集采集数据；步骤2，用关系形状网络对点云数据进行逐点特征提取，得到包含形状信息的点云特征；步骤3，用上下文—注意力模块对提取的点云特征进行类内类间特征约束和强化，得到具备上下文先验和全局语义关联的点云特征；步骤4，采用多层感知机分类器对点云特征进行分类，得到点云数据中每个点的最终预测标签。

公开(公告)号：CN114693923B

公开(公告)日：2025-05-09

申请号：CN202210221944.6

申请日：2022-03-09

Applicant: 南京大学

Inventor： 张岩 ,  张化鹏 ,  刘琨 ,  谢吉雨 ,  贾晓玉 ,  郑鹏飞 ,  何振

IPC: G06V10/26 ,  G06F17/16

Abstract: 本发明提供了一种基于上下文和注意力的三维点云语义分割方法，包括：步骤1，对输入三维点云模型数据集采集数据；步骤2，用关系形状网络对点云数据进行逐点特征提取，得到包含形状信息的点云特征；步骤3，用上下文—注意力模块对提取的点云特征进行类内类间特征约束和强化，得到具备上下文先验和全局语义关联的点云特征；步骤4，采用多层感知机分类器对点云特征进行分类，得到点云数据中每个点的最终预测标签。

公开(公告)号：CN116228986A

公开(公告)日：2023-06-06

申请号：CN202310284200.3

申请日：2023-03-22

Applicant: 南京大学

Inventor： 何振 ,  白家杨 ,  杨珊 ,  张岩 ,  过洁 ,  陈振宇 ,  郭延文

IPC: G06T17/00 ,  G06T15/00 ,  G06T19/00 ,  G06T3/00 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于局部到全局补全策略的室内场景光照估计方法，该方法旨在从单张限制视角室内场景图片的任意位置估计出光照情况，并将室内场景光照估计问题分解为三个子任务：基于深度的图像变形、低动态范围(low dynamic range，LDR)全景图补全和高动态范围(high dynamic range，HDR)重建。基于第二个子任务，该方法提出一种从局部到全局的全景图补全策略，该策略首先对第一阶段变形后输出的稀疏的全景图进行深度引导的局部补全，以填补小而密集的空洞；之后通过立方体贴图投影法和一个能够拟合长距离依赖关系的transformer网络(称作PanoTransformer)进行合理的全局补全；最终能够在输入图片任意位置恢复出物理上合理且带有纹理细节的全景图，以捕捉空间变化的室内光照。