-
公开(公告)号:CN111950404B
公开(公告)日:2025-01-07
申请号:CN202010744081.1
申请日:2020-07-29
Applicant: 南京大学
IPC: G06T17/00 , G06V20/40 , G06V10/80 , G06V10/82 , G06N3/0464 , G06V10/774 , G06N3/09
Abstract: 本发明提供了一种基于深度学习视频监督的单图像三维重建方法,包括以下步骤:1)构建了物体位姿预测模块:根据输入图像中的物体可以得到其相机拍摄相对于物体的位置;2)构建了物体三维形状估计模块:根据输入的单幅物体图像通过迭代优化损失预测得到它的三维点云;3)构建了多帧形状融合模块:将视频图线序列并行得输入以上两模块中,可以得到单帧的相机位姿及三维形状预测,通过多帧权重融合以及一致性约束、平滑性约束得到更准确地预测;4)整体训练框架:包括数据预处理、模型框架训练及测试三个阶段。本发明方法实现了端到端的三维重建,能够使用视频序列进行训练,在测试阶段仅使用单图像就能够预测其三维点云。
-
公开(公告)号:CN110163974B
公开(公告)日:2020-09-04
申请号:CN201910428208.6
申请日:2019-05-22
Applicant: 南京大学
Abstract: 本发明公开了一种基于无向图学习模型的单图像面片重建方法,包括:对现有的三维模型集中的三维模型进行多视角渲染获得训练图像集;使用无向图学习模型表示面片,建立由图像编码和相机视角估计构成的无向图初始化网络,获得该图像对应的相机视角参数,并对初始面片按照估计所得的相机视角参数进行投影,获得无向图初始特征;建立无向图LSTM网络结构和无向图CNN网络结构,对无向图模型进行特征更新,并将无向图每个节点映射到三维空间内的坐标,获得三角面片每个顶点位置;建立无向图初始化网络和无向图更新网络损失,并对神经网络进行多阶段训练;对输入图像使用已训练的网络进行三维重建获得最终面片模型。
-
公开(公告)号:CN111950404A
公开(公告)日:2020-11-17
申请号:CN202010744081.1
申请日:2020-07-29
Applicant: 南京大学
Abstract: 本发明提供了一种基于深度学习视频监督的单图像三维重建方法,包括以下步骤:1)构建了物体位姿预测模块:根据输入图像中的物体可以得到其相机拍摄相对于物体的位置;2)构建了物体三维形状估计模块:根据输入的单幅物体图像通过迭代优化损失预测得到它的三维点云;3)构建了多帧形状融合模块:将视频图线序列并行得输入以上两模块中,可以得到单帧的相机位姿及三维形状预测,通过多帧权重融合以及一致性约束、平滑性约束得到更准确地预测;4)整体训练框架:包括数据预处理、模型框架训练及测试三个阶段。本发明方法实现了端到端的三维重建,能够使用视频序列进行训练,在测试阶段仅使用单图像就能够预测其三维点云。
-
公开(公告)号:CN110163974A
公开(公告)日:2019-08-23
申请号:CN201910428208.6
申请日:2019-05-22
Applicant: 南京大学
Abstract: 本发明公开了一种基于无向图学习模型的单图像面片重建方法,包括:对现有的三维模型集中的三维模型进行多视角渲染获得训练图像集;使用无向图学习模型表示面片,建立由图像编码和相机视角估计构成的无向图初始化网络,获得该图像对应的相机视角参数,并对初始面片按照估计所得的相机视角参数进行投影,获得无向图初始特征;建立无向图LSTM网络结构和无向图CNN网络结构,对无向图模型进行特征更新,并将无向图每个节点映射到三维空间内的坐标,获得三角面片每个顶点位置;建立无向图初始化网络和无向图更新网络损失,并对神经网络进行多阶段训练;对输入图像使用已训练的网络进行三维重建获得最终面片模型。
-
公开(公告)号:CN107578477A
公开(公告)日:2018-01-12
申请号:CN201710810675.6
申请日:2017-09-11
Applicant: 南京大学
IPC: G06T19/20
Abstract: 本发明公开了一种三维模型部件的自动检测方法,包括离线训练和在线检测两个部分。离线训练时采用带有部件标注的三维模型集作为训练数据,对于数据集中的每个三维模型:在均匀采样的视角下进行光照渲染生成图像,依据部件标注计算每个部件在各个图像中的显著性并筛选出具有较高显著性的部件标注,利用图像和对应的部件标注训练FasterR-CNN检测模型。在线检测时,对于一个待检测的三维模型:在均匀采样的视角下进行光照渲染生成图像,利用上面训练好的FasterR-CNN模型检测每张图像中的部件,由检测结果(包围框和标签)为其框中的顶点投票,最后依据投票结果筛选出可能属于各个部件类别的顶点并生成包围盒。
-
公开(公告)号:CN107578477B
公开(公告)日:2019-09-06
申请号:CN201710810675.6
申请日:2017-09-11
Applicant: 南京大学
IPC: G06T19/20
Abstract: 本发明公开了一种三维模型部件的自动检测方法,包括离线训练和在线检测两个部分。离线训练时采用带有部件标注的三维模型集作为训练数据,对于数据集中的每个三维模型:在均匀采样的视角下进行光照渲染生成图像,依据部件标注计算每个部件在各个图像中的显著性并筛选出具有较高显著性的部件标注,利用图像和对应的部件标注训练FasterR‑CNN检测模型。在线检测时,对于一个待检测的三维模型:在均匀采样的视角下进行光照渲染生成图像,利用上面训练好的FasterR‑CNN模型检测每张图像中的部件,由检测结果(包围框和标签)为其框中的顶点投票,最后依据投票结果筛选出可能属于各个部件类别的顶点并生成包围盒。
-
公开(公告)号:CN104063562A
公开(公告)日:2014-09-24
申请号:CN201410334507.0
申请日:2014-07-14
Applicant: 南京大学
IPC: G06F17/50
Abstract: 本发明公开了一种基于色彩聚类的乱针绣铺底绣稿生成方法,包括以下步骤:将输入图像转换到合适的色彩空间,以便更准确的度量颜色之间的差异程度;采用绣线库中可选绣线颜色对图像进行颜色量化,统计量化图像的直方图,并对直方图中占比最多的几种颜色进行聚类,从而得到输入图像的构成颜色;利用图像构成颜色初始化聚类算法,聚类得到每个像素的类别及绣制每一类所需的绣线颜色;对聚类结果做优化处理,消除聚类结果中的孤立的像素点及零散的小面积区域,得到平滑的图像色块区域划分,生成铺底绣稿;利用得到的铺底绣稿进行铺底绣制。
-
公开(公告)号:CN107610221B
公开(公告)日:2020-06-05
申请号:CN201710810698.7
申请日:2017-09-11
Applicant: 南京大学
Abstract: 本发明公开了一种基于同构模型表示的三维模型生成方法,包括:针对模型集合的部件对应关系,构建模型集的统一结构表示;采用子图编码的方式,建立每个模型的同构结构表示;采用包围盒和广义圆柱的方式,建立每个模型的部件表示;根据模型的结构表示和部件表示,构建模型的统一表示;训练基于神经网络的自编码器,建立同构表示空间与二维数值空间的映射关系;对二维数值进行采样,利用自编码器解码得到模型同构表示;根据解码得到的模型同构表示,重建出三维模型,并判断重建模型的有效性;根据采样数据的有效性,估计有效空间的分布,并进行可视化;根据用户选取的有效二维数据,解码得到模型表示,重建新的三维模型。
-
公开(公告)号:CN107610221A
公开(公告)日:2018-01-19
申请号:CN201710810698.7
申请日:2017-09-11
Applicant: 南京大学
Abstract: 本发明公开了一种基于同构模型表示的三维模型生成方法,包括:针对模型集合的部件对应关系,构建模型集的统一结构表示;采用子图编码的方式,建立每个模型的同构结构表示;采用包围盒和广义圆柱的方式,建立每个模型的部件表示;根据模型的结构表示和部件表示,构建模型的统一表示;训练基于神经网络的自编码器,建立同构表示空间与二维数值空间的映射关系;对二维数值进行采样,利用自编码器解码得到模型同构表示;根据解码得到的模型同构表示,重建出三维模型,并判断重建模型的有效性;根据采样数据的有效性,估计有效空间的分布,并进行可视化;根据用户选取的有效二维数据,解码得到模型表示,重建新的三维模型。
-
公开(公告)号:CN104063562B
公开(公告)日:2017-03-22
申请号:CN201410334507.0
申请日:2014-07-14
Applicant: 南京大学
IPC: G06F17/50
Abstract: 本发明公开了一种基于色彩聚类的乱针绣铺底绣稿生成方法,包括以下步骤:将输入图像转换到合适的色彩空间,以便更准确的度量颜色之间的差异程度;采用绣线库中可选绣线颜色对图像进行颜色量化,统计量化图像的直方图,并对直方图中占比最多的几种颜色进行聚类,从而得到输入图像的构成颜色;利用图像构成颜色初始化聚类算法,聚类得到每个像素的类别及绣制每一类所需的绣线颜色;对聚类结果做优化处理,消除聚类结果中的孤立的像素点及零散的小面积区域,得到平滑的图像色块区域划分,生成铺底绣稿;利用得到的铺底绣稿进行铺底绣制。
-
-
-
-
-
-
-
-
-