公开(公告)号：CN113343011A

公开(公告)日：2021-09-03

申请号：CN202110682084.1

申请日：2021-06-19

Applicant: 哈尔滨工业大学

Inventor： 曹海龙 ,  徐冰 ,  朱聪慧 ,  刘朋伯

IPC: G06F16/58 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于两阶段注意力的多模态信息机器翻译方法。步骤1：为每个输入的文本生成通用的图像信息；步骤2：基于步骤1的通用图像信息计算图间注意力和图内注意力，即处理不同重要程度的图片和图片中对文本贡献程度的区域；步骤3：改进步骤2中图间注意力机制和图内注意力机制，使之成为带有去噪效果的、带有采样功能的注意力机制，从而采样图片中对理解上下文有帮助的图片区域；步骤4：对步骤3改进的图间注意力机制和图内注意力机制进行多模态融合，实现多任务共同学习。本发明用以解决多模态信息机器翻译场景下，不同模态信息如何融合的问题。

公开(公告)号：CN113343011B

公开(公告)日：2023-03-24

申请号：CN202110682084.1

申请日：2021-06-19

Applicant: 哈尔滨工业大学

Inventor： 曹海龙 ,  徐冰 ,  朱聪慧 ,  刘朋伯

IPC: G06F16/58 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/047 ,  G06N3/08 ,  G06F18/241 ,  G06F18/2415 ,  G06F18/25

Abstract: 本发明公开了一种基于两阶段注意力的多模态信息机器翻译方法。步骤1：为每个输入的文本生成通用的图像信息；步骤2：基于步骤1的通用图像信息计算图间注意力和图内注意力，即处理不同重要程度的图片和图片中对文本贡献程度的区域；步骤3：改进步骤2中图间注意力机制和图内注意力机制，使之成为带有去噪效果的、带有采样功能的注意力机制，从而采样图片中对理解上下文有帮助的图片区域；步骤4：对步骤3改进的图间注意力机制和图内注意力机制进行多模态融合，实现多任务共同学习。本发明用以解决多模态信息机器翻译场景下，不同模态信息如何融合的问题。