一种利用单张彩色图的三维网格重建方法

    公开(公告)号:CN109147048A

    公开(公告)日:2019-01-04

    申请号:CN201810809452.2

    申请日:2018-07-23

    Applicant: 复旦大学

    Abstract: 本发明属于三维视觉技术领域,具体为一种利用单张彩色图重建物体三维网格模型的方法。本发明方法包括,对于图像,设计一个多层的全卷积特征网络,用于提取图片不同层次的特征;对于三维网格,设置一个初始椭球,用图神经网络表示,利用图片特征不断对椭球进行形变,以逼近真实形状;同时,设计投影层连接图像端和三维网格端,在此框架下训练一个端到端的神经网络,即给定一张彩色图,输出对应的三维网格模型。该方法具有三维建模结果光滑、完整并且细节丰富的优点,重建精度也得到了有效的提升,非常适合于在虚拟现实、动画游戏、生产制造等产业中的实际应用。

    利用多张彩色图片生成三维网格模型的方法及装置

    公开(公告)号:CN113096234B

    公开(公告)日:2022-09-06

    申请号:CN201911335173.8

    申请日:2019-12-23

    Applicant: 复旦大学

    Abstract: 本发明提供一种利用多张彩色图片生成三维网格模型的方法,用于基于形变推断对少量不同视角的彩色图片以及对应的相机参数进行处理从而生成相应的三维网格模型,其特征在于,包括如下步骤:步骤S1,对预先获取的三维模型数据集进行预处理从而得到训练样本;步骤S2,生成初始网格模板;步骤S3,构建用于提取所述二维图像的几何特征以及语义特征的图像特征提取网络;步骤S4,构建图卷积神经网络;步骤S5,构建损失函数;步骤S6,基于所述损失函数对由所述图像特征提取网络以及所述图卷积神经网络组成的三维模型生成模型进行训练;步骤S7,将多张所述彩色图片与对应的所述相机参数输入所述三维模型生成模型从而生成所述三维网格模型。

    利用多张彩色图片生成深度图像与相机外参的方法及装置

    公开(公告)号:CN113496521B

    公开(公告)日:2022-10-18

    申请号:CN202010267560.9

    申请日:2020-04-08

    Applicant: 复旦大学

    Abstract: 本发明提供一种利用多张彩色图片生成深度图像与相机外参的方法及装置,用于对多张不同视角的待处理二维彩色图片进行处理从而生成与各个视角相应的深度值图像结果与相机外部参数结果,其特征在于,包括如下步骤:步骤S1,对预先获取的三维场景数据集进行预处理从而得到训练数据;步骤S2,生成初始深度值图像和初始相机外部参数估计;步骤S3,构建图像特征提取网络;步骤S4,构建三维卷积神经网络;步骤S5,构建损失函数;步骤S6,基于损失函数对由图像特征提取网络以及三维卷积神经网络组成的场景三维信息生成模型进行训练;步骤S7,将多张待处理二维彩色图片与对应的相机内部参数输入场景三维信息生成模型从而生成深度值图像与相机外部参数。

    利用多张彩色图片生成深度图像与相机外参的方法及装置

    公开(公告)号:CN113496521A

    公开(公告)日:2021-10-12

    申请号:CN202010267560.9

    申请日:2020-04-08

    Applicant: 复旦大学

    Abstract: 本发明提供一种利用多张彩色图片生成深度图像与相机外参的方法及装置,用于对多张不同视角的待处理二维彩色图片进行处理从而生成与各个视角相应的深度值图像结果与相机外部参数结果,其特征在于,包括如下步骤:步骤S1,对预先获取的三维场景数据集进行预处理从而得到训练数据;步骤S2,生成初始深度值图像和初始相机外部参数估计;步骤S3,构建图像特征提取网络;步骤S4,构建三维卷积神经网络;步骤S5,构建损失函数;步骤S6,基于损失函数对由图像特征提取网络以及三维卷积神经网络组成的场景三维信息生成模型进行训练;步骤S7,将多张待处理二维彩色图片与对应的相机内部参数输入场景三维信息生成模型从而生成深度值图像与相机外部参数。

    利用多张彩色图片生成三维网格模型的方法及装置

    公开(公告)号:CN113096234A

    公开(公告)日:2021-07-09

    申请号:CN201911335173.8

    申请日:2019-12-23

    Applicant: 复旦大学

    Abstract: 本发明提供一种利用多张彩色图片生成三维网格模型的方法,用于基于形变推断对少量不同视角的彩色图片以及对应的相机参数进行处理从而生成相应的三维网格模型,其特征在于,包括如下步骤:步骤S1,对预先获取的三维模型数据集进行预处理从而得到训练样本;步骤S2,生成初始网格模板;步骤S3,构建用于提取所述二维图像的几何特征以及语义特征的图像特征提取网络;步骤S4,构建图卷积神经网络;步骤S5,构建损失函数;步骤S6,基于所述损失函数对由所述图像特征提取网络以及所述图卷积神经网络组成的三维模型生成模型进行训练;步骤S7,将多张所述彩色图片与对应的所述相机参数输入所述三维模型生成模型从而生成所述三维网格模型。

    一种利用单张彩色图的三维网格重建方法

    公开(公告)号:CN109147048B

    公开(公告)日:2021-02-26

    申请号:CN201810809452.2

    申请日:2018-07-23

    Applicant: 复旦大学

    Abstract: 本发明属于三维视觉技术领域,具体为一种利用单张彩色图重建物体三维网格模型的方法。本发明方法包括,对于图像,设计一个多层的全卷积特征网络,用于提取图片不同层次的特征;对于三维网格,设置一个初始椭球,用图神经网络表示,利用图片特征不断对椭球进行形变,以逼近真实形状;同时,设计投影层连接图像端和三维网格端,在此框架下训练一个端到端的神经网络,即给定一张彩色图,输出对应的三维网格模型。该方法具有三维建模结果光滑、完整并且细节丰富的优点,重建精度也得到了有效的提升,非常适合于在虚拟现实、动画游戏、生产制造等产业中的实际应用。

Patent Agency Ranking