公开(公告)号：CN117151225A

公开(公告)日：2023-12-01

申请号：CN202311042747.9

申请日：2023-08-18

Applicant: 中国科学院计算技术研究所

Inventor： 王树徽 ,  甘婧儒 ,  韩歆哲 ,  黄庆明

IPC: G06N5/04 ,  G06N3/0455 ,  G06N3/042 ,  G06N3/0495 ,  G06N3/082 ,  G06V10/70 ,  G06V10/82 ,  G06F16/332 ,  G06F16/36 ,  G06N5/022 ,  G06F40/30

Abstract: 本发明提供了一种基于路径推理的开放视觉问答的系统，包括：模式图构建模块，用于根据输入的图像和针对该图像提出的问题文本，构建第二模式图；剪枝网络，包括节点编码器和剪枝层，节点编码器，用于根据图像、问题文本以及各个节点的类型提取节点的嵌入向量；剪枝层，用于对第二模式图进行剪枝，得到第三模式图；路径推理网络，包括路径编码器、双线性层和输出层，路径编码器确定候选推理路径的嵌入向量，双线性层，用于确定各候选推理路径的嵌入向量与多模态上下文特征的匹配概率，输出层，用于根据各候选推理路径对应的匹配概率确定推理结果。