-
公开(公告)号:CN117390165B
公开(公告)日:2025-03-25
申请号:CN202311409539.8
申请日:2023-10-27
Applicant: 北京中科闻歌科技股份有限公司
IPC: G06F16/3329 , G06F16/334 , G06F16/338 , G06F16/34
Abstract: 本申请涉及图表问答技术领域,特别是涉及一种基于多模态大模型的图表问答方法、系统、介质和设备。该方法包括:提取待处理图表中的目标文本信息,得到图表文本特征向量;提取上述待处理图表中目标图像信息,得到图表图像特征向量;将综合文本特征向量和图表图像特征向量进行对齐;根据对齐后的综合文本特征向量和图表图像特征向量生成待处理图表对应的问题对应的目标回答。本申请对于待处理图表的信息提取分为两部分进行,提供的待处理图表的信息更具针对性,更精确,则最终得到的图标问答对应的回答的准确性也越高。
-
公开(公告)号:CN114880496B
公开(公告)日:2024-12-24
申请号:CN202210471183.X
申请日:2022-04-28
Applicant: 国家计算机网络与信息安全管理中心 , 北京中科闻歌科技股份有限公司
IPC: G06F16/432 , G06F16/435 , G06F16/483 , G06F40/279 , G06F40/30 , G06V40/16 , G06V20/40 , G06V20/62 , G06V10/774 , G06V10/82 , G06N3/0442 , G06N3/08 , G06N7/01 , G10L15/22
Abstract: 本公开涉及一种多媒体信息话题分析方法、装置、设备及计算机可读存储介质,本公开通过音频数据得到语音识别文本、通过视频数据的关键帧得到字幕文本;针对上述语音识别文本及字幕文本从实体、关键词、语义标签三方面提取话题信息,实现了基于文本数据的全方面、多粒度的文本话题提取;针对视频数据的关键帧,从人脸标签及图片标签两方面提取话题信息,实现了基于图像数据的视觉话题提取;本公开实施例充分考虑了视频数据的多模态特征,全面的分析视频话题,提高了话题分析的准确性;进一步的,通过准确的话题分析,可以使受众快速有效的获取视频的主要信息,提升了工作效率,并可以广泛应用于视频个性化推荐、视频内容检索等场景。
-
公开(公告)号:CN117275068B
公开(公告)日:2024-05-17
申请号:CN202311224982.8
申请日:2023-09-21
Applicant: 北京中科闻歌科技股份有限公司
IPC: G06V40/16 , G06V40/40 , G06V10/774 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种含不确定性引导的测试阶段训练人脸伪造检测方法及系统,属于深度学习以及计算机视觉技术领域,方法包括:获取待判别的图像作为初始输入图像;获取所述初始输入图像的高频信息图像;提取所述高频信息图像中不同尺度的RGB特征和频域注意力特征,将所述RGB特征和所述频域注意力特征进行融合;将所述融合后RGB特征和所述频域特征进行交叉注意力计算,得到融合特征;基于所述融合特征,并根据不同的输入图像和任务需求,自适应选择融合方式,得到判别特征,并基于所述判别特征进行分类任务。本发明充分利用频域和RGB域中有效的信息挖掘伪造痕迹,利用不确定性引导的测试阶段训练策略,对网络中的不确定性进行优化,提高了泛化性能。
-
公开(公告)号:CN116823597B
公开(公告)日:2024-05-07
申请号:CN202310964424.9
申请日:2023-08-02
Applicant: 北京中科闻歌科技股份有限公司
IPC: G06T3/04 , G06N3/0475 , G06N3/094
Abstract: 本发明涉及图像处理领域,尤其涉及一种图像生成系统,包括:目标图像A和A对应的目标语义特征向量B,所述系统实现以下步骤:将A作为待加噪图像A0,初始化加噪次数t=0,通过噪声预测模型对A0和B进行噪声预测,得到噪声预测结果Ct,对A0和Ct进行加权相加,得到加噪图像Dt,以Dt作为A0,迭代得到目标加噪图像E,将E和B输入图像生成模型中进行图像生成,得到生成图像Es,以Es作为E,迭代得到目标生成图像,通过编码噪声的形式提取A中的随机信息、面部细节和语义信息等信息,并在A上多次叠加编码得到的噪声来得到E,进一步对E和B进行多次图像生成处理得到目标生成图像,提高了目标生成图像的准确性。
-
公开(公告)号:CN113505221B
公开(公告)日:2024-03-12
申请号:CN202010214386.1
申请日:2020-03-24
Applicant: 国家计算机网络与信息安全管理中心 , 北京中科闻歌科技股份有限公司 , 国科智安(北京)科技有限公司
IPC: G06F16/35 , G06F18/2411 , G06Q30/018
Abstract: 本发明公开了一种企业虚假宣传风险识别方法、设备和存储介质。该方法包括:在目标企业对应的多个企业舆情文本中,提取疑似风险文本;在每个疑似风险文本中提取对应种类的风险特征,形成每个疑似风险文本对应的风险特征向量;将多个疑似风险文本分别对应的风险特征向量顺次输入预先训练的风险识别模型,使风险识别模型对每个疑似风险文本进行识别,并将识别为存在虚假宣传风险的疑似风险文本确定为风险文本;根据确定出的所有风险文本的信息,确定目标企业对应的虚假宣传风险强度值;如果虚假宣传风险强度值大于预设的风险阈值,则确定目标企业存在虚假宣传风险。本发明可以避免人工匹配规则的局限性,提升了虚假宣传风险识别的准确性。
-
公开(公告)号:CN117611938A
公开(公告)日:2024-02-27
申请号:CN202311371318.6
申请日:2023-10-20
Applicant: 北京中科闻歌科技股份有限公司
IPC: G06V10/774 , G06V10/74 , G06F18/214 , G06F18/22
Abstract: 本公开涉及一种多模态模型训练方法、装置、设备及存储介质。本公开通过连接图文对齐模型以及大型语言模型,将图文对齐模型得到的视觉表达信息输入大型语言模型中,提高了多模态信息的对齐效果,使得多模态模型对于图像视觉信息的理解能力得到提升。
-
公开(公告)号:CN117591948A
公开(公告)日:2024-02-23
申请号:CN202410082714.5
申请日:2024-01-19
Applicant: 北京中科闻歌科技股份有限公司
IPC: G06F18/2411 , G06F40/166 , G06F18/214
Abstract: 本公开提供了一种评论生成模型训练方法和装置,涉及人工智能技术领域,具体涉及自然语言处理、深度学习、大模型等技术领域。具体实现方案为:获取文本样本集,文本样本集包括:第一文本样本,第一文本样本包括:展示文本以及与展示文本相关的情感立场文本;获取预先构建的评论生成网络,评论生成网络包括:编码器和解码器,编码器分别对展示文本和情感立场文本进行建模,得到评论全局特征向量;解码器用于对评论全局特征向量进行解码,得到评论结果信息;将从文本样本集中选取的第一文本样本输入评论生成网络,得到评论生成网络输出的评论结果信息;基于评论结果信息,得到训练完成的评论生成模型。
-
公开(公告)号:CN117113990B
公开(公告)日:2024-01-12
申请号:CN202311374453.6
申请日:2023-10-23
Applicant: 北京中科闻歌科技股份有限公司
IPC: G06F40/284 , G06F40/289 , G06F18/25
Abstract: 本发明涉及计算机技术应用领域,提供了一种面向大语言模型的词向量生成方法、电子设备及存储介质,包括:获取待分词的文本,作为目标文本;对目标文本进行分词处理,得到对应的分词集S;基于预设词向量基准表T,获取每个词在每个嵌入矩阵的特征向量;基于预设滑动窗口长度d,将S划分为多个语句片段,得到对应的语句片段集SP;对每个语句片段的特征向量进行融合,得到对应的特征向量;得到SP对应的特征向量F作为目标文本的特征向量。本发明在词向量生成过程中,将多个相邻的词组合视为一个词,能够使得分词的长度得到极大的压缩。此外,将不同词的特征向量通过张量积的方式组合成一个词的特征向量,可以极大的降低可训练参数量。
-
公开(公告)号:CN117275068A
公开(公告)日:2023-12-22
申请号:CN202311224982.8
申请日:2023-09-21
Applicant: 北京中科闻歌科技股份有限公司
IPC: G06V40/16 , G06V40/40 , G06V10/774 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种含不确定性引导的测试阶段训练人脸伪造检测方法及系统,属于深度学习以及计算机视觉技术领域,方法包括:获取待判别的图像作为初始输入图像;获取所述初始输入图像的高频信息图像;提取所述高频信息图像中不同尺度的RGB特征和频域注意力特征,将所述RGB特征和所述频域注意力特征进行融合;将所述融合后RGB特征和所述频域特征进行交叉注意力计算,得到融合特征;基于所述融合特征,并根据不同的输入图像和任务需求,自适应选择融合方式,得到判别特征,并基于所述判别特征进行分类任务。本发明充分利用频域和RGB域中有效的信息挖掘伪造痕迹,利用不确定性引导的测试阶段训练策略,对网络中的不确定性进行优化,提高了泛化性能。
-
公开(公告)号:CN116996707A
公开(公告)日:2023-11-03
申请号:CN202310967284.0
申请日:2023-08-02
Applicant: 北京中科闻歌科技股份有限公司
IPC: H04N21/234 , H04N21/44 , G06T3/40 , G06N3/094 , G06N3/0475 , G06N3/0464 , G06V10/82 , G06V40/16
Abstract: 本发明提供了一种虚拟角色的视频渲染方法,包括如下步骤:基于目标虚拟角色的第一人脸图像和目标虚拟角色对应的目标音频数据,获取到预设口型图像集;预设口型图像集包括若干个口型图像;根据若干个口型图像和第二人脸图像,获取到拼接人脸图像集;拼接人脸图像集包括若干个拼接人脸图像;根据若干个拼接人脸图像和目标换脸模型,获取到目标人脸图像集;目标人脸图像集包括若干个目标人脸图像;根据若干个目标人脸图像和目标虚拟角色的初始人脸图像,获取到目标虚拟角色对应的目标渲染视频。本发明能够实现虚拟角色视频的实时驱动与渲染,并能够应用于多种语言的语音播报。
-
-
-
-
-
-
-
-
-