公开(公告)号：CN112543317A

公开(公告)日：2021-03-23

申请号：CN202011395559.0

申请日：2020-12-03

Applicant: 东南大学

Inventor： 姚莉 ,  李林鑫 ,  杨俊宴 ,  吴含前

IPC: H04N13/261 ,  H04N13/268 ,  G06N3/04 ,  G06K9/62 ,  G06T3/40 ,  G06T7/593

Abstract: 本发明公开一种高分辨率单目2D视频到双目3D视频的转制方法，在深度信息提取阶段，使用现有的3D电影作为源数据集训练一个U型结构的卷积网络，得到性能优越的网络模型对2D视频进行逐帧的深度估计，利用小型的神经网络对深度图进行保边平滑的优化处理。在视点合成阶段，提出无相机参数的基于深度图的视点合成算法，采用对称式的由中间向两边渲染的策略进行左右虚拟视点合成。最后，在图像修复阶段，提出了结合时域信息的基于块匹配的图像修复算法，对左右视点中的裂痕空洞进行填充修复。本发明能够在原2D视频无任何相关参数信息的前提下，对其进行2D到3D的视频转制，不仅可以有效地处理高分辨率画面，且转制效果好、速度快。

公开(公告)号：CN112543317B

公开(公告)日：2022-07-12

申请号：CN202011395559.0

申请日：2020-12-03

Applicant: 东南大学

Inventor： 姚莉 ,  李林鑫 ,  杨俊宴 ,  吴含前

IPC: H04N13/261 ,  H04N13/268 ,  G06N3/04 ,  G06K9/62 ,  G06T3/40 ,  G06T7/593 ,  G06V10/774 ,  G06V10/82

Abstract: 本发明公开一种高分辨率单目2D视频到双目3D视频的转制方法，在深度信息提取阶段，使用现有的3D电影作为源数据集训练一个U型结构的卷积网络，得到性能优越的网络模型对2D视频进行逐帧的深度估计，利用小型的神经网络对深度图进行保边平滑的优化处理。在视点合成阶段，提出无相机参数的基于深度图的视点合成算法，采用对称式的由中间向两边渲染的策略进行左右虚拟视点合成。最后，在图像修复阶段，提出了结合时域信息的基于块匹配的图像修复算法，对左右视点中的裂痕空洞进行填充修复。本发明能够在原2D视频无任何相关参数信息的前提下，对其进行2D到3D的视频转制，不仅可以有效地处理高分辨率画面，且转制效果好、速度快。