-
公开(公告)号:CN109508400A
公开(公告)日:2019-03-22
申请号:CN201811172666.X
申请日:2018-10-09
Applicant: 中国科学院自动化研究所
IPC: G06F16/583 , G06F16/36 , G06K9/62 , G06N3/04
Abstract: 本发明属于自然语言技术领域,具体提供了一种图文摘要生成方法,旨在解决现有技术图片和文本不对齐导致摘要信息不准确的问题。为此目的,本发明提供了一种图文摘要生成方法,包括获取多媒体信息中文本和图片对应的特征向量;根据文本和图片对应的特征向量获取多模态信息向量;基于预先构建的摘要生成模型并根据多模态信息向量获取多媒体信息的文本摘要;根据图片对应的特征向量获取图片对应的覆盖度向量;基于摘要生成模型并根据图片对应的覆盖度向量获取多媒体信息的图片摘要;将文本摘要和图片摘要结合作为多媒体信息的图文摘要。基于上述步骤,本发明提供的方法可以得到更准确表现多媒体信息内容的图文摘要。
-
公开(公告)号:CN105955956B
公开(公告)日:2019-01-22
申请号:CN201610294189.9
申请日:2016-05-05
Applicant: 中国科学院自动化研究所
Abstract: 本发明公开了一种汉语隐式篇章关系识别方法,所述方法包括以下步骤:步骤1,对汉语隐式篇章关系论元对进行自动分词处理,得到自动分词结果;步骤2,在得到的汉语隐式篇章关系论元自动分词结果的基础上,学习汉语隐式篇章关系论元的特征表达;步骤3,基于得到的特征表达,通过基于最大间隔的神经网络模型对论元间的汉语隐式篇章关系进行建模;步骤4,利用得到的神经网络模型对汉语隐式篇章关系进行识别。本发明能够对汉语中的隐式篇章关系进行较准确地识别。经过在汉语篇章树库上的实验验证,相对于已有的英语隐式篇章关系识别方法,本发明方法在汉语隐式篇章关系识别上得到准确率更高的识别结果。
-
公开(公告)号:CN108959351A
公开(公告)日:2018-12-07
申请号:CN201810377825.3
申请日:2018-04-25
Applicant: 中国科学院自动化研究所 , 国家计算机网络与信息安全管理中心
CPC classification number: G06F17/2785 , G06N3/0481
Abstract: 本发明属于自然语言处理技术领域,具体提供一种中文篇章关系的分类方法及装置。旨在解决传统管道系统方法中错误传递的问题。本发明的中文篇章关系的分类方法包括将中文篇章中的句子进行句对的分布式表示,得到第一句对分布式表示向量;计算记忆单元与第一句对分布式表示向量的相似度和权重,得到第一句对分布式表示向量的记忆信息;将第一句对分布式表示向量与记忆信息进行线性组合生成第二句对分布式表示向量;对第二句对分布式表示向量进行分类,得到中文篇章的关系分类结果。本发明的方法通过深度学习网络得到句子内部的语义和结构抽象特征,可以获得优越性能的篇章分类效果。
-
公开(公告)号:CN108647214A
公开(公告)日:2018-10-12
申请号:CN201810270468.0
申请日:2018-03-29
Applicant: 中国科学院自动化研究所 , 国家计算机网络与信息安全管理中心
Abstract: 本发明涉及语言处理领域,提出了一种基于深层神经网络翻译模型的解码方法,旨在解决机器翻译模型中模型训练复杂度高、训练难度大解码速度慢等问题。该方法的具体实施方式包括:对待翻译语句进行分词处理,得到源语言词汇;步骤2,使用自动对齐工具对预设的翻译模型词汇表中的语料进行词对齐,得到与所述源语言词汇对齐的目标语言单词;步骤3,基于步骤2所得到的目标语言单词,确定出所述待翻译语句的目标端动态词汇表,根据预先构建的翻译模型,使用柱搜索方法解码出的语句作为所述翻译模型的输出;其中,所述翻译模型为基于门限残差机制和平行注意力机制的深层神经网络。本发明提升了模型翻译质量,提高了模型解码速度。
-
公开(公告)号:CN107423284A
公开(公告)日:2017-12-01
申请号:CN201710449875.3
申请日:2017-06-14
Applicant: 中国科学院自动化研究所
Abstract: 本发明涉及自然语言处理技术领域,具体提出一种融合中文单词内部结构信息的句子表示的构建方法及系统,旨在解决单词内部结构信息利用率低的问题;所述构建方法包括:对训练语料中所有的中文复述句对进行分词处理,得到多个单词语料;对各所述单词语料进行预训练,得到预训练字向量和预训练词向量;整合每个单词语料中的所有预训练字向量和预训练词向量,获得对应单词语料的组合词向量;根据每个单词语料中的预训练词向量及所述组合词向量确定所述单词语料的最终词向量,所述最终词向量表征单词内部结构信息;将待处理句子中的各个单词语料的最终词向量进行整合,得到所述待处理句子的表示向量。本发明可以提高单词内部结构信息的利用率。
-
公开(公告)号:CN105955956A
公开(公告)日:2016-09-21
申请号:CN201610294189.9
申请日:2016-05-05
Applicant: 中国科学院自动化研究所
CPC classification number: G06F17/277 , G06F17/271 , G06F17/2785 , G06F17/289 , G06N3/02
Abstract: 本发明公开了一种汉语隐式篇章关系识别方法,所述方法包括以下步骤:步骤1,对汉语隐式篇章关系论元对进行自动分词处理,得到自动分词结果;步骤2,在得到的汉语隐式篇章关系论元自动分词结果的基础上,学习汉语隐式篇章关系论元的特征表达;步骤3,基于得到的特征表达,通过基于最大间隔的神经网络模型对论元间的汉语隐式篇章关系进行建模;步骤4,利用得到的神经网络模型对汉语隐式篇章关系进行识别。本发明能够对汉语中的隐式篇章关系进行较准确地识别。经过在汉语篇章树库上的实验验证,相对于已有的英语隐式篇章关系识别方法,本发明方法在汉语隐式篇章关系识别上得到准确率更高的识别结果。
-
公开(公告)号:CN114048760B
公开(公告)日:2025-03-25
申请号:CN202111138690.3
申请日:2021-09-27
Applicant: 中国科学院自动化研究所
Abstract: 本发明提供一种多语言机器翻译模型训练方法、多语言翻译方法及装置。训练方法包括:获取多语言翻译训练语料和多语言翻译验证语料;建立并初始化全参数共享的多语言翻译模型,利用多语言翻译训练语料和多语言翻译验证语料对多语言翻译模型进行训练,得到多语言机器翻译模型。在训练过程中模型自动判断每个共享的参数是否需要转变为语言相关的参数,复制需要转变的参数并将其分配给相关的语言,从而使得模型同时具有共享参数和语言相关参数。本发明用于在多语言机器翻译模型训练的过程中,自动判断参数是否需要共享以及需要被哪些语言对共享,而不依赖预先指定的共享或语言相关的模型组件。
-
公开(公告)号:CN119476418A
公开(公告)日:2025-02-18
申请号:CN202411518905.8
申请日:2024-10-29
Applicant: 中国科学院自动化研究所
IPC: G06N3/0985 , G06F17/16 , G06F18/214 , G06N3/006 , G06N7/01
Abstract: 本发明提供一种大语言模型合并方法、装置、电子设备及存储介质,包括:基于合并模型在下游任务的任务目标,确定模型合并所使用的密度超参数和模型合并系数超参数;基于密度超参数生成掩码矩阵,基于掩码矩阵、两个待合并模型各自的模型参数以及基础模型的模型参数,分别确定两个待合并模型的任务向量;基于两个待合并模型之间对应神经元的参数向量角、两个待合并模型的任务向量以及模型合并系数超参数,确定合并模型的任务向量;基于合并模型的任务向量和基础模型的模型参数,得到合并模型。采用上述技术方案,解决了现有的模型合并方法得到的合并模型的性能不佳的问题。
-
公开(公告)号:CN115358245A
公开(公告)日:2022-11-18
申请号:CN202210800420.2
申请日:2022-07-06
Applicant: 中国科学院自动化研究所
Abstract: 本发明提供一种翻译模型的训练方法及装置、翻译方法及装置,其中翻译模型的训练方法包括:获取M个翻译任务的训练数据和预设翻译模型;对于M个翻译任务中任意两个翻译任务的训练数据和预设翻译模型,确定任意两个翻译任务之间的目标亲和性;基于各目标亲和性,将各翻译任务进行聚类处理,得到多个目标任务簇;基于各目标任务簇中各翻译任务的训练数据,对各目标任务簇对应的目标翻译模型进行训练。通过确定任意两个翻译任务之间的目标亲和性,可以将对预设翻译模型的翻译结果具有促进作用的各翻译任务进行聚类,得到目标任务簇;基于各目标任务簇,对各目标任务簇对应的目标翻译模型进行训练,能够提高目标翻译模型进行多语言翻译的准确性。
-
公开(公告)号:CN112800785B
公开(公告)日:2021-07-27
申请号:CN202110392717.5
申请日:2021-04-13
Applicant: 中国科学院自动化研究所
IPC: G06F40/58 , G06F40/295 , G06F40/126 , G06K9/00
Abstract: 本发明提供一种多模态机器翻译方法、装置、电子设备和存储介质,所述方法包括:确定待翻译的源语言文本;将源语言文本输入至翻译模型中,得到翻译模型输出的目标语言文本;翻译模型是基于样本源语言文本和样本目标语言文本,以及与样本源语言文本匹配的样本图像,联合重建模型训练得到的;翻译模型与重建模型共用特征编码层,模型训练过程中特征编码层用于编码第一序列和第二序列,翻译模型基于第一序列的编码进行翻译,重建模型基于第二序列的编码进行重建,第一序列基于样本源语言文本确定,第二序列基于样本源语言文本中的各实体在样本图像中的区域图像和样本源语言文本的非实体确定,提高了质量提升的可解释性并且降低了翻译的复杂度。
-
-
-
-
-
-
-
-
-