人脸图像重演方法、装置、电子设备及存储介质

    公开(公告)号:CN116092164B

    公开(公告)日:2023-12-26

    申请号:CN202310109275.8

    申请日:2023-02-01

    Abstract: 本发明提供一种人脸图像重演方法、装置、电子设备及存储介质,涉及图像处理技术领域,其中方法包括:对源图像和驱动图像进行人脸关键点检测以及背景预测,确定目标人脸薄板样条插值关键点矩阵和背景仿射变换参数矩阵;基于目标人脸薄板样条插值关键点矩阵和背景仿射变换参数矩阵进行密集运动转换,确定密集光流和多尺度掩码图像;其中,多尺度掩码图像用于标识源图像中扭曲重建的部分和上下文修复的部分;基于密集光流和多尺度掩码图像进行人脸重演,确定源图像和驱动图像对应的重建图像;人脸重演包括扭曲重建和上下文修复。本发明实现了源图像和驱动图像之间存在较大差异时也能够精确人脸重演的目的,大幅提高了人脸重演的精准性和适用性。

    人脸关键点检测方法及装置

    公开(公告)号:CN108764048A

    公开(公告)日:2018-11-06

    申请号:CN201810396866.7

    申请日:2018-04-28

    Abstract: 本发明涉及计算机视觉处理技术领域,并提出了一种人脸关键点检测方法,旨在解决在人脸关键点检测中计算代价较大和计算资源利用率低下的技术问题。为此目的,本发明中的人脸关键点检测方法包括:利用预先构建的人脸关键点识别模型对人脸图像进行识别,得到人脸关键点的位置信息;人脸关键点识别模型的训练过程为:校正网络利用距离损失函数和反向传播算法对训练用样本数据进行粗略关键点定位;利用变换矩阵对校正网络所定位出的粗略关键点进行变换得到校正后的校正样本数据;回归网络对校正样本数据进行回归计算,检测出人脸关键点位置信息。基于上述步骤,本发明可以快速、准确地检测出人脸图像中人脸关键点信息。

    图像生成方法、装置及存储介质

    公开(公告)号:CN117197268A

    公开(公告)日:2023-12-08

    申请号:CN202310946688.1

    申请日:2023-07-27

    Abstract: 本申请提供一种图像生成方法、装置及存储介质。该图像生成方法包括:将待处理提示词输入至预训练的第一稳定扩散模型,得到所述待处理提示词对应的表观图像,并将待处理提示词输入至边缘图生成模型,得到所述待处理提示词对应的第一边缘图像;基于所述表观图像和所述第一边缘图像生成与所述待处理提示词相关联的图像。本申请提供的图像生成方法、装置及存储介质,提取小样本类别图像的表观信息和边缘信息,并用其联合进行相应类别的图像生成,提高了基于小样本图像的图像生成模型的训练精度以及泛化能力,从而提高了小样本图像生成的准确性。

    图像生成方法、装置及存储介质

    公开(公告)号:CN117197268B

    公开(公告)日:2025-03-04

    申请号:CN202310946688.1

    申请日:2023-07-27

    Abstract: 本申请提供一种图像生成方法、装置及存储介质。该图像生成方法包括:将待处理提示词输入至预训练的第一稳定扩散模型,得到所述待处理提示词对应的表观图像,并将待处理提示词输入至边缘图生成模型,得到所述待处理提示词对应的第一边缘图像;基于所述表观图像和所述第一边缘图像生成与所述待处理提示词相关联的图像。本申请提供的图像生成方法、装置及存储介质,提取小样本类别图像的表观信息和边缘信息,并用其联合进行相应类别的图像生成,提高了基于小样本图像的图像生成模型的训练精度以及泛化能力,从而提高了小样本图像生成的准确性。

    语音驱动唇形生成方法、装置及存储介质

    公开(公告)号:CN117115315A

    公开(公告)日:2023-11-24

    申请号:CN202310856520.1

    申请日:2023-07-12

    Abstract: 本申请提供一种语音驱动唇形生成方法、装置及存储介质。该方法包括:将多帧人脸图像输入至纹理编码器中进行纹理特征提取,得到每一人脸图像的初始纹理特征;将运动信息从所述初始纹理特征中解耦,得到所述人脸图像的目标纹理特征;基于所述人脸图像的目标纹理特征和语音输入生成人脸唇形。本申请提供的语音驱动唇形生成方法、装置及存储介质,通过将运动信息从所述初始纹理特征中解耦,采用解耦后得到的目标纹理特征作为唇形生成的参考先验,避免了运动信息对生成结果的影响,提升生成唇形的准确性和鲁棒性、提高唇形同步的准确率。

    人脸图像重演方法、装置、电子设备及存储介质

    公开(公告)号:CN116092164A

    公开(公告)日:2023-05-09

    申请号:CN202310109275.8

    申请日:2023-02-01

    Abstract: 本发明提供一种人脸图像重演方法、装置、电子设备及存储介质,涉及图像处理技术领域,其中方法包括:对源图像和驱动图像进行人脸关键点检测以及背景预测,确定目标人脸薄板样条插值关键点矩阵和背景仿射变换参数矩阵;基于目标人脸薄板样条插值关键点矩阵和背景仿射变换参数矩阵进行密集运动转换,确定密集光流和多尺度掩码图像;其中,多尺度掩码图像用于标识源图像中扭曲重建的部分和上下文修复的部分;基于密集光流和多尺度掩码图像进行人脸重演,确定源图像和驱动图像对应的重建图像;人脸重演包括扭曲重建和上下文修复。本发明实现了源图像和驱动图像之间存在较大差异时也能够精确人脸重演的目的,大幅提高了人脸重演的精准性和适用性。

    基于语义对齐的人脸关键点检测方法、系统、装置

    公开(公告)号:CN109902641B

    公开(公告)日:2021-03-02

    申请号:CN201910168643.X

    申请日:2019-03-06

    Abstract: 本发明属于人脸识别领域,具体涉及一种基于语义对齐的人脸关键点检测方法、系统、装置,旨在为了提高人脸关键点检测的准确度,本发明方法在传统方法获取基本收敛的人脸关键点检测网络后,采用所构建的包含包括标注有关键点的人脸图像样本、各关键点位置为中心的标准高斯的响应图的训练样本,使用含有隐变量的概率模型作为极大似然估计的目标再进行人脸关键点检测网络的优化;通过最终优化的人脸关键点检测网络进行人脸关键点坐标的预测。本发明在网络训练过程中有效地克服了标注随机性带来的训练震荡问题,提高人脸关键点检测的准确度。

Patent Agency Ranking