公开(公告)号：CN114742972A

公开(公告)日：2022-07-12

申请号：CN202210367566.2

申请日：2022-04-08

Applicant: 中国科学院计算技术研究所

Inventor： 纪昱锋 ,  张杰 ,  山世光

IPC: G06T17/20 ,  G06T15/00 ,  G06N3/04 ,  G06N3/08

Abstract: 本申请提供了基于人脸RGB图像的三维人脸重建方法及装置，通过第一级残差网络回归三维形变模型的几何系数和颜色系数；基于这些系数重构三维人脸形状，并将该三维人脸形状投影、渲染得到二维人脸图像；将该二维人脸图像和原始RGB作为输入提供给第二残差网络回归几何系数和颜色系数的残差，将第一级残差网络得到的系数和第二残差网络得到系数的残差相加，得到最终的三维形变模型系数。通过这种两阶段的残差网络结构，实现了更加精确的系数回归，提高了人脸重建精度。

公开(公告)号：CN114943912B

公开(公告)日：2024-10-18

申请号：CN202210373752.7

申请日：2022-04-07

Applicant: 中国科学院计算技术研究所

Inventor： 纪昱锋 ,  张杰 ,  山世光

IPC: G06V20/40 ,  G06V40/16 ,  G06T7/269 ,  G06T5/70 ,  G06T5/60 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/0475 ,  G06N3/094

Abstract: 本申请提供了视频换脸模型的训练方法及视频换脸方法。首先在图像数据集上利用判别器对视频换脸模型中外观编码器和生成器进行对抗式训练直到判别器无法判断生成器的输出结果的真实性；接着视频数据集上通过光流场判别器继续对该视频换脸模型中外观编码器和生成器进行对抗式训练直到光流场判别器无法判断来自生成器的相邻两帧图像之间的光流场的真实性。这样，通过采用这种面向视频的光流场判别器在视频数据集上进一步训练换脸模型，加速了模型收敛，使得在少量人脸图像样本集上训练的生成器能生成逼真和更加稳定的图像，减少了合成后视频中的抖动、伪影和闪烁等现象，同时也摆脱了对大量高质量样本数据的依赖。

公开(公告)号：CN114943912A

公开(公告)日：2022-08-26

申请号：CN202210373752.7

申请日：2022-04-07

Applicant: 中国科学院计算技术研究所

Inventor： 纪昱锋 ,  张杰 ,  山世光

IPC: G06V20/40 ,  G06V40/16 ,  G06T7/269 ,  G06T5/00 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本申请提供了视频换脸模型的训练方法及视频换脸方法。首先在图像数据集上利用判别器对视频换脸模型中外观编码器和生成器进行对抗式训练直到判别器无法判断生成器的输出结果的真实性；接着视频数据集上通过光流场判别器继续对该视频换脸模型中外观编码器和生成器进行对抗式训练直到光流场判别器无法判断来自生成器的相邻两帧图像之间的光流场的真实性。这样，通过采用这种面向视频的光流场判别器在视频数据集上进一步训练换脸模型，加速了模型收敛，使得在少量人脸图像样本集上训练的生成器能生成逼真和更加稳定的图像，减少了合成后视频中的抖动、伪影和闪烁等现象，同时也摆脱了对大量高质量样本数据的依赖。