公开(公告)号：CN108446404B

公开(公告)日：2021-01-05

申请号：CN201810287528.X

申请日：2018-03-30

Applicant: 中国科学院自动化研究所

Inventor： 王亮 ,  黄岩 ,  程文龙

IPC: G06F16/332 ,  G06F16/33 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明属于模式识别领域，具体涉及一种面向无约束视觉问答指向问题的检索方法及系统。旨在解决无候选答案时的视觉问答指向问题。该方法主要包括：利用图像似物性采样的方法生成一定数目的候选答案，提取问句的文本特征和候选答案的视觉特征，把文本特征和视觉特征映射到同一共同特征空间中，然后计算共同特征空间中问句与候选答案的余弦相似度，把与文本特征余弦相似度最高的候选答案视为预测的正确答案。本方法利用成对的排序损失函数建立问句特征与候选答案特征的相关关系，同时针对无候选答案的问题，使用图像似物性采样的方法生成一定数目的候选的答案，为无候选区域的视觉问答提供了一种可行的解决方案。

公开(公告)号：CN108446404A

公开(公告)日：2018-08-24

申请号：CN201810287528.X

申请日：2018-03-30

Applicant: 中国科学院自动化研究所

Inventor： 王亮 ,  黄岩 ,  程文龙

IPC: G06F17/30

CPC classification number: G06F16/3344 ,  G06F16/3329

Abstract: 本发明属于模式识别领域，具体涉及一种面向无约束视觉问答指向问题的检索方法及系统。旨在解决无候选答案时的视觉问答指向问题。该方法主要包括：利用图像似物性采样的方法生成一定数目的候选答案，提取问句的文本特征和候选答案的视觉特征，把文本特征和视觉特征映射到同一共同特征空间中，然后计算共同特征空间中问句与候选答案的余弦相似度，把与文本特征余弦相似度最高的候选答案视为预测的正确答案。本方法利用成对的排序损失函数建立问句特征与候选答案特征的相关关系，同时针对无候选答案的问题，使用图像似物性采样的方法生成一定数目的候选的答案，为无候选区域的视觉问答提供了一种可行的解决方案。