图像换脸处理方法、装置、电子设备和存储介质

    公开(公告)号:CN115423677A

    公开(公告)日:2022-12-02

    申请号:CN202210879102.X

    申请日:2022-07-25

    Abstract: 本公开关于图像换脸处理方法、装置、电子设备和存储介质,该方法包括:获取原始面部图像和目标面部图像;分别提取原始面部图像的身份特征和目标面部图像的附属特征,得到身份特征和附属特征;提取原始面部图像中的多个预设局部五官区域对应图像中的五官特征,得到多个局部五官特征;采用预先训练得到的合成模型,将多个局部五官特征、身份特征与附属特征进行面部图像合成,得到从原始面部图像到目标面部图像的换脸结果图像,换脸结果图像中的面部图像特征包含局部五官特征、身份特征和附属特征。本方案将多个局部五官特征和身份特征、附属特征利用合成模型进行合成,提高了换脸结果图像与原始图像的五官相似度,优化了换脸效果。

    图像处理方法及装置
    2.
    发明公开

    公开(公告)号:CN114066909A

    公开(公告)日:2022-02-18

    申请号:CN202111218571.9

    申请日:2021-10-19

    Inventor: 叶奎

    Abstract: 本公开提供了一种图像处理方法及装置,包括:获取待处理图像,待处理图像中包含目标对象;确定待处理图像中目标对象的人脸区域;根据预设的第一二维高斯函数、人脸区域的中心位置和人脸区域的宽度,生成与待处理图像的尺寸相同的打光灰度图;将打光灰度图叠加至待处理图像,得到添加了打光特效的目标图像。本公开可以利用二维高斯函数生成包括打光特效的打光灰度图,针对于需添加打光特效以增强图像质量的待处理图像,可以将打光灰度图与待处理图像进行叠加,从而得到添加了打光特效的目标图像,使得目标图像呈现的效果是突出人脸区域的亮度,降低其他区域的亮度,从而模拟出闪光灯的打光效果。

    表情系数确定方法、装置、电子设备及存储介质

    公开(公告)号:CN115205925A

    公开(公告)日:2022-10-18

    申请号:CN202210641776.6

    申请日:2022-06-08

    Abstract: 本公开关于一种表情系数确定方法、装置、电子设备及存储介质,涉及互联网技术领域,在本公开中,首先获取视频信息,视频信息包括多帧图像信息和与每帧图像信息对应的音频信息。对于当前图像信息,在当前图像信息中包含人脸信息且人脸信息未满足预设条件的情况下,从人脸信息中提取出第一表情系数,以及从当前图像信息对应的音频信息中预测出第二表情系数,当前图像信息为任一帧图像信息。然后根据第一表情系数和第二表情系数,得到当前图像信息对应的目标表情系数。通过将从图像信息中包含的人脸信息中提取出的第一表情系数和从音频信息中预测的第二表情系数相结合,得到目标表情系数,能够提升识别到的用户对象的表情系数的准确性。

    视频处理方法、装置、电子设备及存储介质

    公开(公告)号:CN113115104A

    公开(公告)日:2021-07-13

    申请号:CN202110296780.9

    申请日:2021-03-19

    Inventor: 叶奎 黄旭为

    Abstract: 本公开关于一种视频处理方法、装置、电子设备及存储介质,属于视频处理技术领域。方法包括:获取与待处理文本对应的声谱;对声谱进行分段处理,得到多个声谱段;采用表情系数序列生成模型对声谱进行预测处理,得到与声谱对应的表情系数序列,表情系数序列包括:多个表情系数,以及与表情系数对应的时长,表情系数与声谱段相对应;生成与声谱段对应的音频段;将表情系数序列和多个音频段发送至客户端,以触发客户端生成目标视频。该方法有效提升表情系数序列生成的准确性和时效性,由于对声谱进行分段处理,且得到了与分段处理后的声谱段对应的音频段,该表情系数序列和音频段被用于处理目标视频,能够有效辅助提升后续视频处理的响应效率。

    视频处理方法、装置、电子设备及存储介质

    公开(公告)号:CN113115104B

    公开(公告)日:2023-04-07

    申请号:CN202110296780.9

    申请日:2021-03-19

    Inventor: 叶奎 黄旭为

    Abstract: 本公开关于一种视频处理方法、装置、电子设备及存储介质,属于视频处理技术领域。方法包括:获取与待处理文本对应的声谱;对声谱进行分段处理,得到多个声谱段;采用表情系数序列生成模型对声谱进行预测处理,得到与声谱对应的表情系数序列,表情系数序列包括:多个表情系数,以及与表情系数对应的时长,表情系数与声谱段相对应;生成与声谱段对应的音频段;将表情系数序列和多个音频段发送至客户端,以触发客户端生成目标视频。该方法有效提升表情系数序列生成的准确性和时效性,由于对声谱进行分段处理,且得到了与分段处理后的声谱段对应的音频段,该表情系数序列和音频段被用于处理目标视频,能够有效辅助提升后续视频处理的响应效率。

    一种语音合成模型的训练方法、装置、设备以及存储介质

    公开(公告)号:CN114267328A

    公开(公告)日:2022-04-01

    申请号:CN202111532052.X

    申请日:2021-12-14

    Inventor: 叶奎

    Abstract: 本公开关于一种语音合成模型的训练方法、装置、设备以及存储介质,涉及计算机技术领域。本公开实施例至少解决相关技术中,训练到的语音合成模型不是最优的问题。该方法包括:确定连续训练得到目标语音合成模型的目标训练次数;目标语音合成模型的损失值大于或者等于当前最小损失值;当前最小损失值为连续训练得到的损失值中的最小值;在目标训练次数大于或者等于训练次数阈值的情况下,降低语音合成模型的当前丢弃率以及当前学习率;基于降低后的当前丢弃率以及降低后的当前学习率,训练得到下一语音合成模型。

    视频生成方法、装置、电子设备及存储介质

    公开(公告)号:CN114255496A

    公开(公告)日:2022-03-29

    申请号:CN202111456805.3

    申请日:2021-11-30

    Abstract: 本公开提供了一种视频生成方法及装置,包括:得到表情迁移模型输出的初始视频;获取与初始视频中的视频帧对应的脸部渲染图和表情系数,脸部渲染图中的口腔区域绘制有虚拟牙齿;将视频帧对应的脸部渲染图和表情系数分别输入目标图像生成模型,得到目标图像生成模型输出的脸部处理图像;将各所述视频帧对应的脸部处理图像按照所述表情驱动视频的播放时间顺序组合,得到经过脸部处理的目标视频。本公开可以在保证目标视频的牙齿完整的基础上,提升了脸部纹理和牙齿纹理的真实自然程度,大大提升了目标视频的质量。

    图像处理方法及装置
    8.
    发明授权

    公开(公告)号:CN114066909B

    公开(公告)日:2025-04-15

    申请号:CN202111218571.9

    申请日:2021-10-19

    Inventor: 叶奎

    Abstract: 本公开提供了一种图像处理方法及装置,包括:获取待处理图像,待处理图像中包含目标对象;确定待处理图像中目标对象的人脸区域;根据预设的第一二维高斯函数、人脸区域的中心位置和人脸区域的宽度,生成与待处理图像的尺寸相同的打光灰度图;将打光灰度图叠加至待处理图像,得到添加了打光特效的目标图像。本公开可以利用二维高斯函数生成包括打光特效的打光灰度图,针对于需添加打光特效以增强图像质量的待处理图像,可以将打光灰度图与待处理图像进行叠加,从而得到添加了打光特效的目标图像,使得目标图像呈现的效果是突出人脸区域的亮度,降低其他区域的亮度,从而模拟出闪光灯的打光效果。

    视频生成方法、装置、电子设备及存储介质

    公开(公告)号:CN114255496B

    公开(公告)日:2025-04-11

    申请号:CN202111456805.3

    申请日:2021-11-30

    Abstract: 本公开提供了一种视频生成方法及装置,包括:得到表情迁移模型输出的初始视频;获取与初始视频中的视频帧对应的脸部渲染图和表情系数,脸部渲染图中的口腔区域绘制有虚拟牙齿;将视频帧对应的脸部渲染图和表情系数分别输入目标图像生成模型,得到目标图像生成模型输出的脸部处理图像;将各所述视频帧对应的脸部处理图像按照所述表情驱动视频的播放时间顺序组合,得到经过脸部处理的目标视频。本公开可以在保证目标视频的牙齿完整的基础上,提升了脸部纹理和牙齿纹理的真实自然程度,大大提升了目标视频的质量。

Patent Agency Ranking