公开(公告)号：CN111950404B

公开(公告)日：2025-01-07

申请号：CN202010744081.1

申请日：2020-07-29

Applicant: 南京大学

Inventor： 孙正兴 ,  仲奕杰 ,  武蕴杰 ,  宋有成

IPC: G06T17/00 ,  G06V20/40 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06V10/774 ,  G06N3/09

Abstract: 本发明提供了一种基于深度学习视频监督的单图像三维重建方法，包括以下步骤：1)构建了物体位姿预测模块：根据输入图像中的物体可以得到其相机拍摄相对于物体的位置；2)构建了物体三维形状估计模块：根据输入的单幅物体图像通过迭代优化损失预测得到它的三维点云；3)构建了多帧形状融合模块：将视频图线序列并行得输入以上两模块中，可以得到单帧的相机位姿及三维形状预测，通过多帧权重融合以及一致性约束、平滑性约束得到更准确地预测；4)整体训练框架：包括数据预处理、模型框架训练及测试三个阶段。本发明方法实现了端到端的三维重建，能够使用视频序列进行训练，在测试阶段仅使用单图像就能够预测其三维点云。

公开(公告)号：CN111950404A

公开(公告)日：2020-11-17

申请号：CN202010744081.1

申请日：2020-07-29

Applicant: 南京大学

Inventor： 孙正兴 ,  仲奕杰 ,  武蕴杰 ,  宋有成

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08 ,  G06Q10/04 ,  G06T17/00

Abstract: 本发明提供了一种基于深度学习视频监督的单图像三维重建方法，包括以下步骤：1)构建了物体位姿预测模块：根据输入图像中的物体可以得到其相机拍摄相对于物体的位置；2)构建了物体三维形状估计模块：根据输入的单幅物体图像通过迭代优化损失预测得到它的三维点云；3)构建了多帧形状融合模块：将视频图线序列并行得输入以上两模块中，可以得到单帧的相机位姿及三维形状预测，通过多帧权重融合以及一致性约束、平滑性约束得到更准确地预测；4)整体训练框架：包括数据预处理、模型框架训练及测试三个阶段。本发明方法实现了端到端的三维重建，能够使用视频序列进行训练，在测试阶段仅使用单图像就能够预测其三维点云。