公开(公告)号：CN119962547A

公开(公告)日：2025-05-09

申请号：CN202510035739.4

申请日：2025-01-09

Applicant: 哈尔滨工业大学

Inventor： 赵铁军 ,  宋宇宸 ,  曹海龙 ,  陈安东 ,  徐冰 ,  朱聪慧 ,  杨沐昀

IPC: G06F40/58 ,  G06N5/022 ,  G06N5/04

Abstract: 一种结合知识图谱、大语言模型与视觉想象力机制的多模态机器翻译训练方法，属于人工智能技术领域。为优化多模态机器翻译方法的图像生成质量，本发明包括人工设置待翻译句子，构建训练集1；应用文字处理库处理训练集1中的待翻译句子得到文字三元组，将训练集1中的待翻译句子输入图像生成模型生成图片后利用图像三元组提取模型处理得到图像三元组，应用两组三元组的距离性质对图像生成模型进行训练得到训练好的图像生成模型；将训练集1中的待翻译句子输入到训练好的图像生成模型待翻译句子对应生成图像进行编码处理，然后和对应的待翻译句子进行拼接后，构建训练集2，利用训练集2对大语言模型进行训练，优化大语言模型的多模态机器翻译性能。