一种基于深度学习的单目场景深度预测方法

    公开(公告)号:CN111899295B

    公开(公告)日:2022-11-15

    申请号:CN202010508803.3

    申请日:2020-06-06

    Applicant: 东南大学

    Inventor: 姚莉 缪静

    Abstract: 一种基于深度学习的单目场景深度预测方法,适用于单目图片或视频,利用已校准的双目彩色图像对训练深度预测模型,在网络架构中使用了DenseNet卷积模块提取特征空间,使用其中的稠密块和过渡层,使网络中的每一层都直接与其前面层相连,实现特征的重复利用;改进了双目匹配损失,将深度预测问题视为图像重建问题,对输入的左视点彩色图和视差图采样生成虚拟彩色图和视差图,利用双目图像对的立体匹配算法,在RGB层面和视差层面,约束生成的虚拟视图和对应输入的右视点图像的一致性,从而获得更好的深度;改进了深度平滑损失,本发明能够生成高质量的密集深度图,有效改善单目场景深度预测中遮挡产生的伪影问题,可满足室内外多个现实场景的2D转3D需求。

    一种基于深度学习的单目场景深度预测方法

    公开(公告)号:CN111899295A

    公开(公告)日:2020-11-06

    申请号:CN202010508803.3

    申请日:2020-06-06

    Applicant: 东南大学

    Inventor: 姚莉 缪静

    Abstract: 一种基于深度学习的单目场景深度预测方法,适用于单目图片或视频,利用已校准的双目彩色图像对训练深度预测模型,在网络架构中使用了DenseNet卷积模块提取特征空间,使用其中的稠密块和过渡层,使网络中的每一层都直接与其前面层相连,实现特征的重复利用;改进了双目匹配损失,将深度预测问题视为图像重建问题,对输入的左视点彩色图和视差图采样生成虚拟彩色图和视差图,利用双目图像对的立体匹配算法,在RGB层面和视差层面,约束生成的虚拟视图和对应输入的右视点图像的一致性,从而获得更好的深度;改进了深度平滑损失,本发明能够生成高质量的密集深度图,有效改善单目场景深度预测中遮挡产生的伪影问题,可满足室内外多个现实场景的2D转3D需求。

Patent Agency Ranking