公开(公告)号：CN117974867B

公开(公告)日：2024-06-21

申请号：CN202410381197.1

申请日：2024-04-01

Applicant: 哈尔滨工业大学(威海)

Inventor： 张盛平 ,  陈宇凡 ,  柳青林 ,  孟权令 ,  吕晓倩 ,  王晨阳

IPC: G06T15/00 ,  G06V20/40 ,  G06V40/16 ,  G06V10/774 ,  G06V10/82

Abstract: 一种基于高斯点渲染的单目人脸化身生成方法，包括以下步骤：从单目人像视频中提取FLAME的表情参数和姿态参数；定义初始化空间、标准空间、形变空间；从点在形变空间与初始化空间的位置信息，获取点在形变空间中的高斯参数；将点在形变空间中的高斯参数输入渲染器，并渲染图像；将渲染图像与输入单目人像视频做图像损失，通过最小化该约束进行训练；每次训练迭代中加入增删点策略以实现点数增加；通过驱动视频对训练好的特定人物化身进行驱动。本发明设计迭代优化的策略，以及高斯点云的增删点策略，利用高斯抛雪球渲染器的渲染速度和渲染质量，通过预训练的线性混合蒙皮函数引导高斯参数网络和点的形变网络的训练，提高人像化身的生成质量。

公开(公告)号：CN117974867A

公开(公告)日：2024-05-03

申请号：CN202410381197.1

申请日：2024-04-01

Applicant: 哈尔滨工业大学(威海)

Inventor： 张盛平 ,  陈宇凡 ,  柳青林 ,  孟权令 ,  吕晓倩 ,  王晨阳

IPC: G06T15/00 ,  G06V20/40 ,  G06V40/16 ,  G06V10/774 ,  G06V10/82

Abstract: 一种基于高斯点渲染的单目人脸化身生成方法，包括以下步骤：从单目人像视频中提取FLAME的表情参数和姿态参数；定义初始化空间、标准空间、形变空间；从点在形变空间与初始化空间的位置信息，获取点在形变空间中的高斯参数；将点在形变空间中的高斯参数输入渲染器，并渲染图像；将渲染图像与输入单目人像视频做图像损失，通过最小化该约束进行训练；每次训练迭代中加入增删点策略以实现点数增加；通过驱动视频对训练好的特定人物化身进行驱动。本发明设计迭代优化的策略，以及高斯点云的增删点策略，利用高斯抛雪球渲染器的渲染速度和渲染质量，通过预训练的线性混合蒙皮函数引导高斯参数网络和点的形变网络的训练，提高人像化身的生成质量。