公开(公告)号：CN114723880A

公开(公告)日：2022-07-08

申请号：CN202210291175.7

申请日：2022-03-23

Applicant: 南京大学

Inventor： 张岩 ,  谢吉雨 ,  贾晓玉 ,  张化鹏 ,  郑鹏飞 ,  何振 ,  刘琨 ,  皋婕 ,  刘馨蓬

IPC: G06T17/00 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于多视角成本体积的卷积网络三维模型重建方法，包括：通过一个共享权重的编码网络，提取输入的多视角图片数据的特征图；依据参考相机视点的平行平面，将特征图扭曲到不同的深度，得到每个特征图对应的特征体积；采用基于方差的成本度量将多个特征体积融合成一个成本体积；采用3D网格推理对得到的成本体积进行降噪处理，重建出最终的体素，完成基于多视角成本体积的卷积网络三维模型重建。本发明使用三维网格推理，添加几何约束，来产生高质量的输出；将每个视角都作为一次参考视角，保证了最终的结果与输入的无关性，从而提高了网络的合理性；选取新的深度值，使得产生的结果的形状与用来监督的形状的相吻合。

公开(公告)号：CN118135363A

公开(公告)日：2024-06-04

申请号：CN202410320521.9

申请日：2024-03-20

Applicant: 南京大学

Inventor： 张岩 ,  皋婕 ,  刘馨蓬 ,  刘琨 ,  孙延浩 ,  陈超逸

IPC: G06V10/80 ,  G06T7/80 ,  G06V10/774 ,  G06T5/50 ,  G06N3/0464 ,  G06N3/084 ,  G06T15/00 ,  G06T3/4007

Abstract: 本发明公开了一种基于点特征与神经辐射场的新视角合成方法，包括：步骤1，采集多视角图片数据、相机参数、深度图；步骤2，将多视角图片、相机参数作为输入，得到每个视角下的深度图以及对应的置信度；步骤3，从深度图中采样得到神经点云的位置信息，点云的置信度为深度值的置信度，对输入的图片提取特征，融合点特征、局部特征与全局特征，作为神经点云的特征信息；步骤4，构建相机到成像平面的神经辐射场，得到神经辐射场中每个采样点的特征。步骤5，进行渲染得到新视角图片。本发明提出了一种合理的特征提取与特征聚合的方式，从而进一步提升了基于点特征和神经辐射场的新视角合成的效果。

公开(公告)号：CN118212253A

公开(公告)日：2024-06-18

申请号：CN202410327760.7

申请日：2024-03-21

Applicant: 南京大学

Inventor： 张岩 ,  刘馨蓬 ,  皋婕 ,  刘琨

IPC: G06T7/13 ,  G06T5/50 ,  G06T5/60 ,  G06V10/44 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06V10/10 ,  G06N3/045 ,  G06N3/084

Abstract: 本发明提供了一种基于霍夫投票的点云参数化边缘曲线检测方法，包括：采集代表CAD模型的点云和边缘曲线参数数据；对点云进行点分类，得到点云的边缘点集；对边缘点集进行卷积操作；获得投票点集；以投票点为中心，找到附近的投票点集，聚合特征得到每个点的局部特征；对投票点进行位置编码，与局部特征拼接，输入到编码其中获取曲线特征信息；将曲线特征信息输入到曲线参数预测网络中，得到曲线参数、类型以及置信度；获得筛选后的曲线点集；融合边缘点位置、点特征、对应的投票点位置和曲线特征生成新的曲线特征；得到最终预测的边缘曲线参数集合。本发明这种从粗到细的策略在全局和局部两个层面上优化了模型，提高了模型的鲁棒性和适应性。