公开(公告)号：CN113705168B

公开(公告)日：2023-04-07

申请号：CN202111016267.6

申请日：2021-08-31

Applicant: 苏州大学

Inventor： 李军辉 ,  陈林卿 ,  贡正仙 ,  周国栋

IPC: G06F40/126 ,  G06F40/58 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开一种基于交叉层级注意机制的篇章神经机器翻译方法，包括：将未处理的语料生成包含文档结构信息的训练语料；使用训练语料训练基础结构的篇章神经机器翻译模型；利用翻译模型获取具有句子边界信息的源端文档句向量集合；将句向量集合作为基于交叉层级注意力的上下文捕获器的输入，利用交叉注意机制获取词与句之间的依赖权重矩阵，为当前语句中的每个词获取独立的篇章级别的全局上下文；将全局上下文与翻译模型结合，得到基于交叉注意机制的篇章神经机器翻译模型；对其进行神经网络训练。本发明在训练中引入篇章的全局上下文信息，将待翻译的篇章视为整体进行翻译，保持篇章结构信息的同时，可避免上下文信息被忽略，导致错翻或者漏翻。

公开(公告)号：CN113705168A

公开(公告)日：2021-11-26

申请号：CN202111016267.6

申请日：2021-08-31

Applicant: 苏州大学

Inventor： 李军辉 ,  陈林卿 ,  贡正仙 ,  周国栋

IPC: G06F40/126 ,  G06F40/58 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开一种基于交叉层级注意机制的篇章神经机器翻译方法，包括：将未处理的语料生成包含文档结构信息的训练语料；使用训练语料训练基础结构的篇章神经机器翻译模型；利用翻译模型获取具有句子边界信息的源端文档句向量集合；将句向量集合作为基于交叉层级注意力的上下文捕获器的输入，利用交叉注意机制获取词与句之间的依赖权重矩阵，为当前语句中的每个词获取独立的篇章级别的全局上下文；将全局上下文与翻译模型结合，得到基于交叉注意机制的篇章神经机器翻译模型；对其进行神经网络训练。本发明在训练中引入篇章的全局上下文信息，将待翻译的篇章视为整体进行翻译，保持篇章结构信息的同时，可避免上下文信息被忽略，导致错翻或者漏翻。