公开(公告)号：CN116168401A

公开(公告)日：2023-05-26

申请号：CN202310158612.2

申请日：2023-02-23

Applicant: 厦门大学

Inventor： 苏劲松 ,  蓝志彬 ,  余嘉炜

IPC: G06V30/246 ,  G06V30/19

Abstract: 本申请提出了一种基于多模态码本的文本图像翻译模型的训练方法，包括采用所述训练样本集中的图像对应的语言文本和目标语言文本对所述文本编码器和所述文本解码器进行训练；采用所述训练样本集中的图像对应的语言文本对所述多模态码本进行训练；采用所述图像和所述图像对应的语言文本对所述图像编码器和所述多模态码本进行训练；采用所述图像、所述图像对应的语言文本、所述光学字符识别文本和所述目标语言文本对所述文本图像翻译模型进行微调，以得到训练好的文本图像翻译模型；由此，利用输入的图像联想相关文本，从而为翻译过程提供有效的补充信息，以便得到更好的翻译效果。

公开(公告)号：CN116562308A

公开(公告)日：2023-08-08

申请号：CN202310213158.6

申请日：2023-03-07

Applicant: 厦门大学

Inventor： 苏劲松 ,  尹永竞 ,  余嘉炜

IPC: G06F40/58 ,  G06N3/088

Abstract: 本申请提出了一种基于渐进式对比学习的多模态机器翻译模型的训练方法，包括首先，获取源端句子和对应图像；接着，根据源端句子和对应图像进行多模态图的构建，其中，多模态图包括节点集合和节点集合中各个节点之间的边构成的边集合；最后，建立多模态机器翻译模型，并根据多模态图对多模态机器翻译模型进行对比学习训练，其中，在训练过程中，先采用随机负样本进行训练，并根据当前训练步数和训练总步数逐步提高难负样本的数量，直至训练完成；由此，通过在训练过程中逐渐增加难负样本的数量，从而使得多模态机器翻译模型得以在更平滑的学习过程中区分不同类型的样本，提高训练效果。