神经机器翻译Transformer模型的位置编码方法、系统和电子设备

    公开(公告)号:CN118261169A

    公开(公告)日:2024-06-28

    申请号:CN202410435968.0

    申请日:2024-04-11

    Inventor: 王瑞 郝宏坤

    Abstract: 本发明实施例提供一种神经机器翻译Transformer模型的位置编码方法、系统和电子设备。该方法包括:获取源语种的待翻译内容;基于源语种以及要翻译的目标语种,确定神经机器翻译Transformer模型的三角函数位置编码的修改方式,其中,修改方式包括:基于源语种以及目标语种确定对三角函数位置编码内正弦函数的第一修改方式、基于待翻译内容的字数确定对三角函数位置编码的周期的第二修改方式;利用确定的第一修改方式以及第二修改方式对神经机器翻译Transformer模型进行位置编码调整;基于位置编码调整后的神经机器翻译Transformer模型确定待翻译内容在目标语种下的翻译内容。本发明实施例修改三角函数的方差和周期,提高模型的重排序能力,使模型提高在神经机器翻译任务上的性能。

Patent Agency Ranking