公开(公告)号：CN117876434A

公开(公告)日：2024-04-12

申请号：CN202410189857.6

申请日：2024-02-20

Applicant: 清华大学

Inventor： 刘烨斌 ,  涂汉璋

IPC: G06T7/269 ,  G06N3/0464 ,  G06T7/90 ,  G06T15/20 ,  G06T15/00

Abstract: 本发明提供了一种基于多级光流估计和神经渲染的人体全息视点生成方法，通过多级光流的方法，利用视差较小的图像进行估计，得到相对稳定的初值，利用初值进行辅助，估计大视差图像的光流，从而显著提高估计得到的光流以及后续生成的全息视点图像的鲁棒性；同时利用神经渲染技术，增强生成图像的质量，利于后续的展示和观看。本发明适用于稀疏多RGB传感器布置下的高质量实时人体半身全息视点生成。通过本发明，能够对于大视差图像实现稳定、鲁棒的计算。

公开(公告)号：CN118741075A

公开(公告)日：2024-10-01

申请号：CN202410977088.6

申请日：2024-07-19

Applicant: 京东方科技集团股份有限公司 ,  清华大学

Inventor： 刘烨斌 ,  涂汉璋 ,  李文宇 ,  李治富 ,  马思研 ,  于静

IPC: H04N13/383 ,  H04N13/111 ,  H04N13/106

Abstract: 本公开提供一种全息通讯设备、系统、方法和存储介质，属于计算机视觉技术领域。本公开的全息通讯设备，包括处理器被配置为基于接收到的多张第一图像，实时确定使用者的人眼三维坐标；将接收到的视频流解码为多张第二图像；多张第二图像分别为不同第二相机分别从不同视角拍摄到的、目标对象的图像；基于每张第二图像的序列信息，分别对相邻两张第二图像计算视角间视差，得到多张视差图，并将每张视差图转换为点云数据；基于各个点云数据，将第二图像的图像特征转换至人眼三维坐标，得到视点特征图；利用预先训练好的渲染神经网络模型对视点特征图进行渲染，得到使用者双目分别对应的新视点图；全息显示器被配置为基于各个新视点图进行全息显示。