公开(公告)号：CN114463408A

公开(公告)日：2022-05-10

申请号：CN202111564607.9

申请日：2021-12-20

Applicant: 北京邮电大学

Inventor： 桑新柱 ,  齐帅 ,  陈铎 ,  王鹏 ,  王华春 ,  叶晓倩 ,  颜玢玢

IPC: G06T7/593 ,  G06T7/73 ,  G06T3/00 ,  G06T7/80 ,  G06V10/40 ,  G06N3/04 ,  G06N3/08

Abstract: 本申请提供一种自由视点图生成方法、装置、设备及存储介质，该方法包括：通过特征提取网络结合多视点图的内外参数，提取多视点图的特征，以及结合无监督立体匹配网络得到最终目标视点深度图；通过卷积神经网络对多视点图进行特征提取，得到多视点图的多张待处理深度编码图；通过DIBR方法结合最终目标视点深度图将各张待处理深度编码图进行投影，得到多张目标深度编码图；通过预设聚合模块将各张目标深度编码图进行融合，得到目标视点编码图，以及通过全卷积网络对目标视点编码图进行解码，得到目标自由视点图。本申请实施例提供的自由视点图生成方法通过深度估计将多视点图生成虚拟的目标自由视点图，使得目标自由视点图具有高准确性。

公开(公告)号：CN114429496A

公开(公告)日：2022-05-03

申请号：CN202111520396.9

申请日：2021-12-13

Applicant: 北京邮电大学

Inventor： 桑新柱 ,  叶晓倩 ,  刘博阳 ,  陈铎 ,  王鹏 ,  王华春 ,  齐帅 ,  王葵如 ,  颜玢玢

IPC: G06T7/593 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供一种基于可学习超像素引导的视差优化方法及装置，其中方法包括：获取用户输入的第一图和第二图；将第一图和第二图输入至视差优化模型，获得视差优化模型输出的视差图；其中，第一图和第二图是由双目摄像机对同一拍摄对象拍摄获得的；视差优化模型是基于数据集进行训练后得到的，用于在超像素引导下对视差进行优化；数据集包括图片样本以及对应的真实语义图、空间位置图和真实视差图；真实语义图、空间位置图和真实视差图是根据图片样本预先确定的，并与图片样本一一对应。本发明实施例提供的基于可学习超像素引导的视差优化方法及装置，实现了超像素网络和视差网络之间的有效交互。

公开(公告)号：CN114401391A

公开(公告)日：2022-04-26

申请号：CN202111501866.7

申请日：2021-12-09

Applicant: 北京邮电大学 ,  班度科技(深圳)有限公司

Inventor： 桑新柱 ,  叶晓倩 ,  王华春 ,  齐帅 ,  郭潇 ,  徐炜 ,  张子强 ,  王葵如 ,  颜玢玢

IPC: H04N13/111 ,  H04N13/106 ,  H04N13/122 ,  H04N13/261

Abstract: 本申请提供一种虚拟视点生成方法及装置。所述方法包括：根据由各双目相机拍摄的各棋盘格图像确定的单应矩阵，对由各双目相机采集到的多视点目标图像进行单应变换，获取水平多视点图像；将水平多视点图像输入训练好的视差估计模型中，获取视差图像；根据不同位置对应的控制因子对视差图像进行加权，以根据加权后的视差图像和水平多视点图像进行前向映射，生成虚拟视点图像；其中，视差估计模型由各虚拟图像以及密集的真实视差输入全卷积网络进行训练后确定。本申请实施例提供的虚拟视点生成方法可以提高虚拟视点的生成效率。