实时问答虚拟人视频生成方法、电子设备及存储介质

    公开(公告)号:CN116996630A

    公开(公告)日:2023-11-03

    申请号:CN202310964008.9

    申请日:2023-08-02

    Abstract: 本发明提供了一种实时问答虚拟人视频生成方法、电子设备及存储介质,方法包括:基于待播报信息获取对应的场景视频;对音频文件进行特征提取,得到对应的音频特征;基于场景视频和音频特征,生成口型与音频特征相匹配的场景视频,作为初始人脸驱动视频;基于场景视频中的目标图像以及初始驱动视频,获取对应的人脸关键点、人脸深度图和人脸的RGB编码特征;基于获取的人脸关键点、人脸深度图和人脸的RGB编码特征,得到目标人脸驱动视频;利用目标人脸驱动视频中的人脸替换场景视频中的人脸,得到虚拟人视频;将虚拟人视频和音频文件进行合成,得到待播报的虚拟人播报视频。本发明能够提高虚拟人视频的制作效率。

    逆转图像重建方法、装置、设备及可读存储介质

    公开(公告)号:CN116862803A

    公开(公告)日:2023-10-10

    申请号:CN202310864682.X

    申请日:2023-07-13

    Abstract: 本公开涉及一种逆转图像重建方法、装置、设备及可读存储介质。本公开通过获取待逆转图像,所述待逆转图像包括待逆转的高质量图像和/或待逆转的低质量图像,对所述待逆转图像进行逆转处理,得到逆转图像。由于对所述待逆转图像进行逆转处理,得到逆转图像,进而可以对逆转图像的隐空间特征进行约束,使逆转得到的隐空间特征的分布更符合GAN隐空间中原始隐空间编码的分布,在图像编辑中减少图像伪影的出现,从而提高真实图像的图像编辑的效果。并且,本公开实施例可以适用于高质量图像以及低质量图像,提高了逆转方法的泛化性能,提升了低质量图像逆转的重建效果,保证了GAN逆转方法对图像质量的稳定性。

    一种视频合成方法、装置、设备及存储介质

    公开(公告)号:CN112866586B

    公开(公告)日:2023-03-07

    申请号:CN202110003232.2

    申请日:2021-01-04

    Abstract: 本发明实施例公开了一种视频合成方法、装置、设备及存储介质。获取的待合成文本可以是任意语种的文本,待合成视频可以是用户选择的包括任意主播形象的视频片段,根据获取的待合成文本自动生成音频流,基于待合成视频中的无音视频流生成视频特征和唇部特征,并根据音频流生成音频特征和口型特征,基于口型特征和唇部特征确定口唇映射关系,根据口唇映射关系生成口唇一致的视频序列,进一步地,根据融合后的视频序列,生成目标合成视频,使整个目标合成视频中的人脸和唇部动作保持一致,并使目标合成视频中的主播唇动保持自然一致,并生成符合用户意愿的目标合成视频,提高用户观看体验。

Patent Agency Ranking