公开(公告)号：CN110798673B

公开(公告)日：2021-03-19

申请号：CN201911106557.2

申请日：2019-11-13

Applicant: 南京大学

Inventor： 曹汛 ,  黄志浩 ,  汪晏如

IPC: H04N13/111 ,  H04N13/239 ,  H04N13/246 ,  H04N13/296

Abstract: 本发明公开了一种基于深度卷积神经网络的自由视点视频生成及交互方法。具体步骤包括：利用配套搭建的多相机阵列同步拍摄系统对目标场景进行多视点数据的采集，获得多视点下的同步视频帧序列组，然后批量进行像素级别的基线校准；利用设计训练好的深度学习卷积神经网络模型，通过编码和解码网络结构，对每组输入视点图像进行特征提取，获得场景的深度特征信息，结合输入图像分别生成每一个时刻的每一组相邻物理视点之间的虚拟视点图像；将所有视点按时刻以及视点的空间位置通过矩阵拼接的方式合成自由视点视频帧。本发明方法无需进行相机标定以及深度图的计算，很大程度上降低了虚拟视点生成的计算量，并且一定程度提升了虚拟视点图像质量。

公开(公告)号：CN110798673A

公开(公告)日：2020-02-14

申请号：CN201911106557.2

申请日：2019-11-13

Applicant: 南京大学

Inventor： 曹汛 ,  黄志浩 ,  汪晏如

IPC: H04N13/111 ,  H04N13/239 ,  H04N13/246 ,  H04N13/296

Abstract: 本发明公开了一种基于深度卷积神经网络的自由视点视频生成及交互方法。具体步骤包括：利用配套搭建的多相机阵列同步拍摄系统对目标场景进行多视点数据的采集，获得多视点下的同步视频帧序列组，然后批量进行像素级别的基线校准；利用设计训练好的深度学习卷积神经网络模型，通过编码和解码网络结构，对每组输入视点图像进行特征提取，获得场景的深度特征信息，结合输入图像分别生成每一个时刻的每一组相邻物理视点之间的虚拟视点图像；将所有视点按时刻以及视点的空间位置通过矩阵拼接的方式合成自由视点视频帧。本发明方法无需进行相机标定以及深度图的计算，很大程度上降低了虚拟视点生成的计算量，并且一定程度提升了虚拟视点图像质量。