用于驱动数字人的表情系数的生成方法、装置、电子设备及存储介质

    公开(公告)号:CN119007755A

    公开(公告)日:2024-11-22

    申请号:CN202410931290.5

    申请日:2024-07-11

    Abstract: 本公开关于一种用于驱动数字人的表情系数的生成方法、装置、电子设备及存储介质,所述方法包括:获取用于驱动数字人的音频数据、包括说话风格信息和说话情绪信息的第一控制信息和包括多个模态的控制信息的第二控制信息;通过语音驱动模块对音频数据进行特征提取处理,得到音频特征;通过第一控制模块对第一控制信息进行特征提取处理,得到说话风格特征和说话情绪特征;通过第二控制模块对第二控制信息进行特征提取处理,得到时序文本特征;将音频特征、说话风格特征、说话情绪特征,以及时序文本特征,输入表情系数生成模块进行处理,得到用于驱动数字人的表情系数。该方法能够丰富对数字人的控制方式,得到符合预期且高表现力的驱动结果。

    图像处理方法、装置及存储介质
    32.
    发明公开

    公开(公告)号:CN118762120A

    公开(公告)日:2024-10-11

    申请号:CN202410725886.X

    申请日:2024-06-05

    Abstract: 本公开关于一种图像处理方法、装置及存储介质。上述方法包括获取包括第一脸部的参考图像和包括第二脸部的第一图像;对参考图像进行纹理特征提取,得到第一脸部对应的参考纹理特征;提取第一脸部对应的中性特征,中性特征为预设头部姿态下无表情的脸部三维关键点特征;提取第二脸部对应的动作状态信息;融合中性特征和第二脸部对应的动作状态信息,得到第一驱动特征;对第一驱动特征进行针对目标部位的重定向处理,得到第二驱动特征,目标部位属于脸部部位;基于第二驱动特征对参考纹理特征进行变形,得到目标纹理特征;基于目标纹理特征,生成第二图像,第二图像具备第一脸部,并且具备第二脸部对应的动作状态信息。本公开提升第二图像的质量。

    面部生成模型训练方法、面部图像生成方法及装置

    公开(公告)号:CN113643392B

    公开(公告)日:2023-12-26

    申请号:CN202010393156.6

    申请日:2020-05-11

    Inventor: 安世杰 张渊

    Abstract: 本公开提供了一种面部生成模型训练方法、面部图像生成方法及装置,涉及图像处理技术领域,以解决相关技术中面部生成模型生成的面部图像的真实性较差的问题。该方法包括:获取原始正面面部图像和CG侧面面部图像,原始正面面部图像与CG侧面面部图像为同一对象的面部图像;将原始正面面部图像和CG侧面面部图像输入生成网络模型,进行特征提取处理,得到第一生成侧面面部图像;将第一生成侧面面部图像输入判别网络模型,计算第一生成侧面面部图像相对于原始侧面面部图像的对抗损失,原始侧面面部图像为CG侧面面部图像的侧面面部信息对应的原始图像;根据对抗损失,调整生成网络模型的参数,得到面部生成模型。

    图像分割方法、装置、电子设备及存储介质

    公开(公告)号:CN114332149A

    公开(公告)日:2022-04-12

    申请号:CN202111607973.8

    申请日:2021-12-22

    Abstract: 本公开关于一种图像分割方法、装置、电子设备及存储介质,所述方法包括:对待检测图像进行目标检测,得到所述待检测图像中各目标对象对应的候选框和所述候选框的置信信息;所述置信信息用于表示所述候选框中的对象为显著性前景对象的置信概率;根据所述候选框的置信信息,从所述候选框中确定出目标候选框;将所述目标候选框对应的区域图像输入训练完成的图像分割网络,得到分割出的对象图像,作为所述待检测图像的图像分割结果。该方法通过简化显著性检测问题,可以更具有针对性地对图像进行处理,得到更精确的分割结果。

    一种图像处理方法、装置、电子设备和存储介质

    公开(公告)号:CN113673546A

    公开(公告)日:2021-11-19

    申请号:CN202010411825.8

    申请日:2020-05-15

    Inventor: 郝燕龙 张渊 郑文

    Abstract: 本公开关于一种图像处理方法、装置、电子设备和存储介质,属于图像技术领域。该方法包括:获取待处理图像,对待处理图像中的至少两种分类对象并行进行分类处理,得到待处理图像中每种分类对象的分类结果,其中,对待处理图像中的至少一种目标分类对象并行进行多分类级别的分类处理,输出待处理图像中各分类对象的分类结果,其中,输出的每种目标分类对象的分类结果根据该目标分类对象的不同分类级别的分类结果确定。这样,对待处理图像中的至少两种分类对象并行进行分类处理,分类速度比较快,并且,综合每种目标分类对象的不同分类级别的分类结果确定输出的该种目标分类对象的分类结果,还可提升对目标分类对象的分类准确度。

    面部生成模型训练方法、面部图像生成方法及装置

    公开(公告)号:CN113643392A

    公开(公告)日:2021-11-12

    申请号:CN202010393156.6

    申请日:2020-05-11

    Inventor: 安世杰 张渊

    Abstract: 本公开提供了一种面部生成模型训练方法、面部图像生成方法及装置,涉及图像处理技术领域,以解决相关技术中面部生成模型生成的面部图像的真实性较差的问题。该方法包括:获取原始正面面部图像和CG侧面面部图像,原始正面面部图像与CG侧面面部图像为同一对象的面部图像;将原始正面面部图像和CG侧面面部图像输入生成网络模型,进行特征提取处理,得到第一生成侧面面部图像;将第一生成侧面面部图像输入判别网络模型,计算第一生成侧面面部图像相对于原始侧面面部图像的对抗损失,原始侧面面部图像为CG侧面面部图像的侧面面部信息对应的原始图像;根据对抗损失,调整生成网络模型的参数,得到面部生成模型。

    一种单目深度估计方法、装置、电子设备及存储介质

    公开(公告)号:CN110264505B

    公开(公告)日:2021-07-30

    申请号:CN201910486072.4

    申请日:2019-06-05

    Inventor: 张渊 安世杰

    Abstract: 本公开关于一种单目深度估计方法、装置、电子设备及存储介质。该方法中,利用深度估计模型对单目视频的视频帧进行深度估计;该深度估计模型,基于预设样本帧、预设样本帧对应的对抗样本帧以及预设样本帧的标注深度数据训练获得;在训练时,基于预设样本帧的估计深度数据和所对应对抗样本帧的估计深度数据之间的差异,预设样本帧的标注深度数据和估计深度数据之间的差异,判断训练中的深度估计模型是否收敛;如果收敛,完成训练;其中,对抗样本帧为:对预设样本帧进行数据增广处理得到的样本帧。本公开可以在保证准确性的前提下,有效抑制单目深度估计结果中的抖动,且省去了对视频帧进行滤波平滑处理所引入的计算量。

    图像虚化方法、装置、电子设备及可读存储介质

    公开(公告)号:CN109889724B

    公开(公告)日:2020-11-06

    申请号:CN201910094300.3

    申请日:2019-01-30

    Inventor: 安世杰 张渊 郑文

    Abstract: 本申请是关于一种图像虚化方法、装置、电子设备及可读存储介质,所述方法,包括获取目标图像;基于预设的深度预测模型生成所述目标图像的深度图像;所述深度预测模型为通过N个场景类型下已知深度图的训练图像训练得到的卷积神经网络模型,N为自然数;根据所述深度图像对所述目标图像中各个像素点进行虚化处理,得到所述目标图像的虚化图像。解决了相关技术中的图像虚化方法存在对硬件设备要求较高、虚化效果不够理想等技术问题。取得了降低图像虚化的硬件设备要求,同时提高虚化效果的技术效果。

    图像处理方法、装置、电子设备及存储介质

    公开(公告)号:CN110378943A

    公开(公告)日:2019-10-25

    申请号:CN201910543889.0

    申请日:2019-06-21

    Abstract: 本公开关于一种图像处理方法、装置、电子设备及存储介质,涉及图像处理技术领域,包括:获取单目摄像头采集到的待处理图像;提取所述待处理图像的不同层次的图像特征;将所述不同层次的图像特征进行融合,得到融合特征;对所述融合特征进行处理后得到所述待处理图像的深度分布特征图,深度分布特征图中各像素点的像素值为深度值。通过该方式获取单目摄像头采集图像的深度分布特征,不仅降低了获取深度分布特征的硬件设备要求,减少了硬件设备的计算量,且在通过深度分布特征进行图像虚化时,图像的真实度更高。

    图像虚化方法、装置、电子设备及可读存储介质

    公开(公告)号:CN109889724A

    公开(公告)日:2019-06-14

    申请号:CN201910094300.3

    申请日:2019-01-30

    Inventor: 安世杰 张渊 郑文

    Abstract: 本申请是关于一种图像虚化方法、装置、电子设备及可读存储介质,所述方法,包括获取目标图像;基于预设的深度预测模型生成所述目标图像的深度图像;所述深度预测模型为通过N个场景类型下已知深度图的训练图像训练得到的卷积神经网络模型,N为自然数;根据所述深度图像对所述目标图像中各个像素点进行虚化处理,得到所述目标图像的虚化图像。解决了相关技术中的图像虚化方法存在对硬件设备要求较高、虚化效果不够理想等技术问题。取得了降低图像虚化的硬件设备要求,同时提高虚化效果的技术效果。

Patent Agency Ranking