-
公开(公告)号:CN116528019B
公开(公告)日:2024-01-26
申请号:CN202310724745.1
申请日:2023-06-19
Applicant: 北京中科闻歌科技股份有限公司
Abstract: 本发明提供了一种基于语音驱动和人脸自驱动的虚拟人视频合成方法,包括:对原始虚拟人视频素材进行预处理,得到首帧人脸图像为基准人脸图像的第一视频素材;利用设定口型驱动模型驱动所述第一视频素材,得到第二视频素材;将第一视频素材中的首帧人脸图像作为被驱动人脸图像,将第二视频素材中的人脸图像作为口型驱动图像序列,通过设定人脸驱动算法得到第三视频素材;利用第三视频素材中的人脸图像替换原始虚拟人视频素材中对应的人脸图像,得到第四视频素材;将第四视频素材和目标音频文件进行合成,得到虚拟人内容播报视频。本发明能够高清化虚拟人的唇形、牙齿细节,发音和唇形吻合度高,可以对新的人物形象不加训练而快速迁移。
-
公开(公告)号:CN117390165A
公开(公告)日:2024-01-12
申请号:CN202311409539.8
申请日:2023-10-27
Applicant: 北京中科闻歌科技股份有限公司
IPC: G06F16/332 , G06F16/33 , G06F16/338 , G06F16/34
Abstract: 本申请涉及图表问答技术领域,特别是涉及一种基于多模态大模型的图表问答方法、系统、介质和设备。该方法包括:提取待处理图表中的目标文本信息,得到图表文本特征向量;提取上述待处理图表中目标图像信息,得到图表图像特征向量;将综合文本特征向量和图表图像特征向量进行对齐;根据对齐后的综合文本特征向量和图表图像特征向量生成待处理图表对应的问题对应的目标回答。本申请对于待处理图表的信息提取分为两部分进行,提供的待处理图表的信息更具针对性,更精确,则最终得到的图标问答对应的回答的准确性也越高。
-
公开(公告)号:CN116452787B
公开(公告)日:2023-10-10
申请号:CN202310696721.X
申请日:2023-06-13
Applicant: 北京中科闻歌科技股份有限公司
Abstract: 本发明提供了一种视觉驱动的虚拟角色处理系统,该系统包括非虚拟角色图像组列表A={A1,A2,……,Ai,……,Am}、虚拟角色图像组B、处理器和存储有计算机程序的存储器,i=1,2,……,m,m为非虚拟角色图像组数量,Ai为第i帧非虚拟角色图像组,还包括根据A获得的非虚拟姿态图像组C={C1,C2,……,Ci,……,Cm}和非虚拟面部图像组D={D1,D2,……,Di,……,Dm},以及根据虚拟角色图像组B获得的虚拟角色的姿态图像Bb和虚拟角色的表情图像Bm,当所述计算机程序被处理器执行时,将Ci与Bb对齐,将Di与Bm对齐,提高了虚拟角色与非虚拟角色的吻合度。
-
公开(公告)号:CN116823597A
公开(公告)日:2023-09-29
申请号:CN202310964424.9
申请日:2023-08-02
Applicant: 北京中科闻歌科技股份有限公司
IPC: G06T3/00 , G06N3/0475 , G06N3/094
Abstract: 本发明涉及图像处理领域,尤其涉及一种图像生成系统,包括:目标图像A和A对应的目标语义特征向量B,所述系统实现以下步骤:将A作为待加噪图像A0,初始化加噪次数t=0,通过噪声预测模型对A0和B进行噪声预测,得到噪声预测结果Ct,对A0和Ct进行加权相加,得到加噪图像Dt,以Dt作为A0,迭代得到目标加噪图像E,将E和B输入图像生成模型中进行图像生成,得到生成图像Es,以Es作为E,迭代得到目标生成图像,通过编码噪声的形式提取A中的随机信息、面部细节和语义信息等信息,并在A上多次叠加编码得到的噪声来得到E,进一步对E和B进行多次图像生成处理得到目标生成图像,提高了目标生成图像的准确性。
-
公开(公告)号:CN115248857A
公开(公告)日:2022-10-28
申请号:CN202211026146.4
申请日:2022-08-25
Applicant: 北京中科闻歌科技股份有限公司 , 航空工业信息中心 , 中国科学院自动化研究所
Abstract: 本公开涉及一种多语言观点摘要生成方法、装置、设备、系统及存储介质。该方法包括:获取待处理的多个目标文本;对多个目标文本进行跨语言文本表征处理,得到各个目标文本对应的多个通用表征向量;基于多个通用表征向量,提取各个目标文本中的至少一个观点句;基于观点句,生成多个目标文本对应的多个观点摘要。根据本公开实施例,无需依赖机器翻译工具对不同的语言对应的多媒体内容先进行翻译再生成观点摘要,对于海量的多语言目标文本,降低了观点摘要的生成成本,同时,生成的观点摘要不受机器翻译准确性的影响,因此,提高了多语言观点摘要生成的准确性,有利于推广应用。
-
公开(公告)号:CN119849624A
公开(公告)日:2025-04-18
申请号:CN202411916261.8
申请日:2024-12-24
Applicant: 北京中科闻歌科技股份有限公司
IPC: G06N5/04 , G06F18/25 , G06N3/0455 , G06N3/0464 , G06N3/0475
Abstract: 本申请涉及一种基于多模态情感的大模型对话方法、装置、设备及介质,尤其涉及自然语言处理技术领域。包括:接收用户的多模态输入,并对多模态输入进行多模态情感分析得到多模态情感表征;将多模态情感表征和当前对话上下文输入情感生成网络,得到情感生成网络输出的当前情感倾向;基于当前情感倾向对历史情感倾向进行更新,得到目标情感倾向;将目标情感倾向和当前对话上下文输入解码器,得到解码器输出的情感回复内容。本申请实施例提升了情感理解的准确性,适应于用户情感波动,能够生成连贯且一致的情感回复内容。
-
公开(公告)号:CN119848168A
公开(公告)日:2025-04-18
申请号:CN202411916262.2
申请日:2024-12-24
Applicant: 北京中科闻歌科技股份有限公司
IPC: G06F16/31 , G06F16/3329 , G06F16/36 , G06F16/3332 , G06F16/334 , G06F16/901 , G06N5/022
Abstract: 本申请实施例公开了一种基于大语言模型和知识图谱的检索生成方法及装置,可解决检索语义关联性弱、召回数据缺乏全局性知识的问题。该方法包括:对预设的多个领域文档进行向量解析,构建向量数据库;根据多个领域文档中提取出的实体描述信息和关系描述信息,构建知识图谱,并将知识图谱存储到图数据库中;对用户输入的目标问题进行特征提取,得到目标问题对应的多维度关键词;通过预设搜索引擎、向量数据库以及图数据库,对多维度关键词进行检索,得到目标检索结果;根据目标检索结果,确定目标输入信息,并将目标输入信息输入到目标语言模型中,得到目标输出响应信息。
-
公开(公告)号:CN119761336A
公开(公告)日:2025-04-04
申请号:CN202411820053.8
申请日:2024-12-11
Applicant: 北京中科闻歌科技股份有限公司
IPC: G06F40/194 , G06F40/16 , G06N5/04 , G06N3/045 , G06N3/0475 , G06F18/25
Abstract: 本发明提供了一种图表问答模型的综合评测方法、设备及介质,涉及数据处理技术领域,方法根据预设图表问答任务类型列表和目标图表类型列表,获取初始图表数据列表集合的总集,根据初始图表数据、初始图表数据对应的预设图表问答任务类型的定义文本和目标多模态大模型,获取初始图表数据对应的问题文本列表和问题文本对应的标准答案文本,根据多线程处理方式、预设配置文件和图表问答模型,并行获取问题文本对应的目标答案文本,根据问题文本对应的标准答案文本和目标答案文本,获取图表问答模型对应的人工评分和自动评分,用于评测图表问答模型,能够评估多种图表问答任务类型的情况下图表问答模型的输出结果的准确性,可以满足用户的多样化需求。
-
公开(公告)号:CN119761333A
公开(公告)日:2025-04-04
申请号:CN202411891714.6
申请日:2024-12-20
Applicant: 北京中科闻歌科技股份有限公司
IPC: G06F40/186 , G06F40/194 , G06F40/30 , G06F18/214
Abstract: 本公开涉及一种基于大语言模型的公平竞争审查方法、装置、设备及介质。其中,基于大语言模型的公平竞争审查方法包括:获取待审文档;基于所述待审文档确定参考案例,并获取目标审查条例;根据预设指令模板,对所述待审文档、所述参考案例和所述目标审查条例进行处理,生成目标模型指令;对所述目标模型指令进行审查处理,得到对应的审查结论。根据本公开实施例,能够提高处理文档的判断准确性和可靠性,提供更为全面和深刻的审查结果。
-
公开(公告)号:CN119692335A
公开(公告)日:2025-03-25
申请号:CN202411760336.8
申请日:2024-12-03
Applicant: 北京中科闻歌科技股份有限公司
IPC: G06F40/205 , G06F18/2431 , G06V30/41
Abstract: 本发明提供了一种基于多模型的PDF解析方法、电子设备和存储介质,方法包括利用规则提取、版面分析、表格识别、公式检测、公式识别、多模态大模型chart2text、多模态大模型段落排序等方法获取复杂PDF中可能出现的所有元素类型。本发明能够实现复杂PDF的完整结构化解析以及支持扫描件和非扫描件。
-
-
-
-
-
-
-
-
-