公开(公告)号：CN114138946A

公开(公告)日：2022-03-04

申请号：CN202010811525.9

申请日：2020-08-13

Applicant: 复旦大学

Inventor： 吴彦泽 ,  薛向阳 ,  李斌

IPC: G06F16/332 ,  G06F16/35 ,  G06F16/583 ,  G06V10/774 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供的基于模块路由网络的视觉问答方法，用于解决根据模块路由网络模型对自然语言问题文本以及输入问题照片处理并生成问题答案，其特征在于，模块路由网络模型具有文本网络、路由网络以及包含视觉网络，包括以下步骤：步骤1，将自然语言问题文本输入文本网络提取问题特征；步骤2，根据由路由路径至少基于问题特征生成的路由路径激活视觉网络中相应的模块成为激活模块，并将问题照片输入视觉网络由激活模块从问题照片中提取图像特征形成相应的最终特征；步骤3，将最终特征输入回答器生成问题答案。则本发明的方法在多个层次中将文本和视觉两个模态融合，回答复杂问题时无需专家知识和监督信息，能广泛应用于需多个模态相结合的情况。