公开(公告)号：CN114021591A

公开(公告)日：2022-02-08

申请号：CN202111315938.9

申请日：2021-11-08

Applicant: 北京理工大学

Inventor： 冯冲 ,  惠子杨 ,  张天夫 ,  王黎超

IPC: G06F40/58 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明涉及一种基于依存树句法增强机制的神经机器翻译方法，属于自然语言处理机器翻译技术领域，解决了现有多头自注意力网络无法有效发挥冗余自注意力头作用的技术问题。本方法构建的依存树，利用依存矩阵作为掩码来对不存在直接依存关系的词汇之间的注意力进行建模。同时，本方法提出了一种动态的、轻量级的冗余头激活策略，精确地识别了并在句法层面上激活了Tranformer编码器端的冗余头，提升了多头注意力网络中注意力头的运行效率。本方法通过句法增强的注意力机制模拟了重要头的特定功能，相比于现有的改进的自注意力方法，在测试集上的提升效果更为明显。

公开(公告)号：CN114021590A

公开(公告)日：2022-02-08

申请号：CN202111314481.X

申请日：2021-11-08

Applicant: 北京理工大学

Inventor： 冯冲 ,  张天夫 ,  惠子杨 ,  王黎超

IPC: G06F40/58 ,  G06N3/04

Abstract: 本发明涉及一种基于局部短语句法增强机制的神经机器翻译方法，属于自然语言处理机器翻译技术领域。首先构建各个元素的局部短语序列，通过局部短语序列构建相对短语位置向量矩阵。然后，识别冗余头，根据句法注意力的平均权重动态确定训练过程中每个头的重要性。最后使用基于局部短语的句法增强的注意力机制代替原本的冗余头，以激活其潜在能力。本发明能够准确地识别多头注意力机制中的重要头和冗余头，并通过基于局部短语的句法增强机制来对冗余头进行修改，所构建的自注意力网络可用于机器翻译研究，取得了良好的效果。