Patent search ap:("中国科学院计算技术研究所") AND inv:"蔡子祺" Page 1

1.

发明公开
基于神经辐射场的实时人像视频三维感知重光照方法及装置审中-实审

公开(公告)号：CN118447153A

公开(公告)日：2024-08-06

申请号：CN202410577968.4

申请日：2024-05-10

Applicant: 中国科学院计算技术研究所

Inventor： 高林 , 蔡子祺 , 陈姝宇

IPC: G06T15/50 , G06T13/40

Abstract: 本发明提出一种基于神经辐射场的实时人像视频三维感知重光照方法和装置，包括：编码步骤，获取待重光照的人像视频，提取人像视频的当前帧的光照条件；基于视觉转换器和卷积神经网络的双编码器根据光照条件，确定当前帧的三平面数据，三平面数据包括几何材质三平面和光影三平面；叠加步骤，通过基于自注意力和交叉注意力的时序一致性网络，计算当前帧的三平面数据和历史帧的三平面数据的残差，将残差叠加到当前帧的三平面数据，得到叠加数据，叠加数据包括残差叠加后的几何材质三平面和残差叠加后的光影三平面；渲染步骤，根据相机参数和叠加数据，从三平面空间渲染得到当前帧的重光照图像。

Patent Agency Ranking