公开(公告)号：CN108647214B

公开(公告)日：2020-06-30

申请号：CN201810270468.0

申请日：2018-03-29

Applicant: 中国科学院自动化研究所 ,  国家计算机网络与信息安全管理中心

Inventor： 张家俊 ,  周龙 ,  马宏远 ,  杜翠兰 ,  张翠 ,  赵晓航 ,  宗成庆

IPC: G06F40/58 ,  G06F40/289 ,  G06N3/04

Abstract: 本发明涉及语言处理领域，提出了一种基于深层神经网络翻译模型的解码方法，旨在解决机器翻译模型中模型训练复杂度高、训练难度大解码速度慢等问题。该方法的具体实施方式包括：对待翻译语句进行分词处理，得到源语言词汇；步骤2，使用自动对齐工具对预设的翻译模型词汇表中的语料进行词对齐，得到与所述源语言词汇对齐的目标语言单词；步骤3，基于步骤2所得到的目标语言单词，确定出所述待翻译语句的目标端动态词汇表，根据预先构建的翻译模型，使用柱搜索方法解码出的语句作为所述翻译模型的输出；其中，所述翻译模型为基于门限残差机制和平行注意力机制的深层神经网络。本发明提升了模型翻译质量，提高了模型解码速度。

公开(公告)号：CN108647214A

公开(公告)日：2018-10-12

申请号：CN201810270468.0

申请日：2018-03-29

Applicant: 中国科学院自动化研究所 ,  国家计算机网络与信息安全管理中心

Inventor： 张家俊 ,  周龙 ,  马宏远 ,  杜翠兰 ,  张翠 ,  赵晓航 ,  宗成庆

IPC: G06F17/28 ,  G06F17/27 ,  G06N3/04

Abstract: 本发明涉及语言处理领域，提出了一种基于深层神经网络翻译模型的解码方法，旨在解决机器翻译模型中模型训练复杂度高、训练难度大解码速度慢等问题。该方法的具体实施方式包括：对待翻译语句进行分词处理，得到源语言词汇；步骤2，使用自动对齐工具对预设的翻译模型词汇表中的语料进行词对齐，得到与所述源语言词汇对齐的目标语言单词；步骤3，基于步骤2所得到的目标语言单词，确定出所述待翻译语句的目标端动态词汇表，根据预先构建的翻译模型，使用柱搜索方法解码出的语句作为所述翻译模型的输出；其中，所述翻译模型为基于门限残差机制和平行注意力机制的深层神经网络。本发明提升了模型翻译质量，提高了模型解码速度。

公开(公告)号：CN111401081A

公开(公告)日：2020-07-10

申请号：CN201811534845.3

申请日：2018-12-14

Applicant: 波音公司 ,  中国科学院自动化研究所

Inventor： 张家俊 ,  周龙 ,  周玉 ,  宗成庆 ,  杨里

IPC: G06F40/58 ,  G06N3/02

Abstract: 本发明涉及神经网络机器翻译方法、模型及模型形成方法。形成神经网络机器翻译模型的方法包括：形成编码器，其包括第一多头注意力模型；形成解码器，其包括第二多头注意力模型和未来信息模型，未来信息模型表示当前预测单词和已经生成单词的第一注意力隐层表示和当前预测单词和未来可能的单词的第二注意力隐层表示的融合；通过编码器和解码器形成第一机器翻译模型；以及对第一机器翻译模型进行对源语言序列从左至右和从右至左的解码训练，以形成神经网络机器翻译模型，其中，第一多头注意力模型和未来信息模型为第二多头注意力模型提供输入。本发明解决了在机器翻译的过程中，在预测当前单词时，未来信息不能被充分利用的问题。

公开(公告)号：CN111401079A

公开(公告)日：2020-07-10

申请号：CN201811535879.4

申请日：2018-12-14

Applicant: 波音公司 ,  中国科学院自动化研究所

Inventor： 周龙 ,  周玉 ,  杨里

IPC: G06F40/56 ,  G06F40/58 ,  G06N3/04 ,  G06N3/08

Abstract: 本申请公开了一种神经网络机器翻译模型的训练方法、装置及存储介质。该方法包括：分别对第一句子的头部和第二句子的头部添加标签，其中，第一句子和第二句子构成双语句子对，标签将第一句子和第二句子标识为以下四个方向中的一个方向：源端-目标端、目标端-源端、从左到右、从右到左；使用第一句子和第二句子构成四个方向上的训练模型；采用多任务训练方法，利用四个方向上的训练模型，对神经网络机器翻译模型中的单一目标训练函数进行训练。通过在四个方向上训练神经网络机器翻译模型，可以在减少模型参数的同时实现多个方向上的翻译任务。