一种基于多语言预训练编码器的多语言神经机器翻译方法

    公开(公告)号:CN117494731A

    公开(公告)日:2024-02-02

    申请号:CN202311298258.X

    申请日:2023-10-09

    Abstract: 一种基于多语言预训练编码器的多语言神经机器翻译方法,利用多个双语翻译词典构建多语言翻译词典,并利用随机替换的方式构建伪平行语料;在原始平行语料和伪平行语料基础上,利用对比学习算法对多语言预训练编码器的参数进行训练和优化,提升编码器输出表示的语言无关性;利用调优后的编码器对多语言翻译模型中的编码器参数进行初始化,在原始平行语料和伪平行语料上对多语言翻译模型中的解码器参数进行训练;对模型中的编码器和解码器参数进行微调,并在训练过程中引入对比学习损失。本发明通过融入显式的词级别对齐信息和句子级别的对比学习损失,提升了多语言预训练编码器在机器翻译任务上的跨语言迁移能力,提高了翻译质量。

Patent Agency Ranking