基于语音驱动和人脸自驱动的虚拟人视频合成方法

    公开(公告)号:CN116528019B

    公开(公告)日:2024-01-26

    申请号:CN202310724745.1

    申请日:2023-06-19

    Abstract: 本发明提供了一种基于语音驱动和人脸自驱动的虚拟人视频合成方法,包括:对原始虚拟人视频素材进行预处理,得到首帧人脸图像为基准人脸图像的第一视频素材;利用设定口型驱动模型驱动所述第一视频素材,得到第二视频素材;将第一视频素材中的首帧人脸图像作为被驱动人脸图像,将第二视频素材中的人脸图像作为口型驱动图像序列,通过设定人脸驱动算法得到第三视频素材;利用第三视频素材中的人脸图像替换原始虚拟人视频素材中对应的人脸图像,得到第四视频素材;将第四视频素材和目标音频文件进行合成,得到虚拟人内容播报视频。本发明能够高清化虚拟人的唇形、牙齿细节,发音和唇形吻合度高,可以对新的人物形象不加训练而快速迁移。

    一种视觉驱动的虚拟角色处理系统

    公开(公告)号:CN116452787B

    公开(公告)日:2023-10-10

    申请号:CN202310696721.X

    申请日:2023-06-13

    Abstract: 本发明提供了一种视觉驱动的虚拟角色处理系统,该系统包括非虚拟角色图像组列表A={A1,A2,……,Ai,……,Am}、虚拟角色图像组B、处理器和存储有计算机程序的存储器,i=1,2,……,m,m为非虚拟角色图像组数量,Ai为第i帧非虚拟角色图像组,还包括根据A获得的非虚拟姿态图像组C={C1,C2,……,Ci,……,Cm}和非虚拟面部图像组D={D1,D2,……,Di,……,Dm},以及根据虚拟角色图像组B获得的虚拟角色的姿态图像Bb和虚拟角色的表情图像Bm,当所述计算机程序被处理器执行时,将Ci与Bb对齐,将Di与Bm对齐,提高了虚拟角色与非虚拟角色的吻合度。

    一种图像生成系统
    34.
    发明公开

    公开(公告)号:CN116823597A

    公开(公告)日:2023-09-29

    申请号:CN202310964424.9

    申请日:2023-08-02

    Abstract: 本发明涉及图像处理领域,尤其涉及一种图像生成系统,包括:目标图像A和A对应的目标语义特征向量B,所述系统实现以下步骤:将A作为待加噪图像A0,初始化加噪次数t=0,通过噪声预测模型对A0和B进行噪声预测,得到噪声预测结果Ct,对A0和Ct进行加权相加,得到加噪图像Dt,以Dt作为A0,迭代得到目标加噪图像E,将E和B输入图像生成模型中进行图像生成,得到生成图像Es,以Es作为E,迭代得到目标生成图像,通过编码噪声的形式提取A中的随机信息、面部细节和语义信息等信息,并在A上多次叠加编码得到的噪声来得到E,进一步对E和B进行多次图像生成处理得到目标生成图像,提高了目标生成图像的准确性。

    一种图表问答模型的综合评测方法、设备及介质

    公开(公告)号:CN119761336A

    公开(公告)日:2025-04-04

    申请号:CN202411820053.8

    申请日:2024-12-11

    Abstract: 本发明提供了一种图表问答模型的综合评测方法、设备及介质,涉及数据处理技术领域,方法根据预设图表问答任务类型列表和目标图表类型列表,获取初始图表数据列表集合的总集,根据初始图表数据、初始图表数据对应的预设图表问答任务类型的定义文本和目标多模态大模型,获取初始图表数据对应的问题文本列表和问题文本对应的标准答案文本,根据多线程处理方式、预设配置文件和图表问答模型,并行获取问题文本对应的目标答案文本,根据问题文本对应的标准答案文本和目标答案文本,获取图表问答模型对应的人工评分和自动评分,用于评测图表问答模型,能够评估多种图表问答任务类型的情况下图表问答模型的输出结果的准确性,可以满足用户的多样化需求。

Patent Agency Ranking