公开(公告)号：CN111694965B

公开(公告)日：2023-06-13

申请号：CN202010478948.3

申请日：2020-05-29

Applicant: 中国科学院上海微系统与信息技术研究所

Inventor： 陈南希 ,  张柔佳 ,  夏春天 ,  张琳瑜 ,  张晓林

IPC: G06F16/14 ,  G06F16/172 ,  G06F16/16 ,  G06F16/36 ,  G06V20/50 ,  G06N5/025 ,  G06N5/04

Abstract: 本发明涉及一种基于多模态知识图谱的图像场景检索系统，通过用户界面输入检索信息并获取检索结果，包括：场景采集模块，设置为采集若干包含不同目标对象的图像场景；场景解析模块，设置为对采集的图像进行场景理解，得到不同目标对象及其之间的关系；多模态数据管理模块，设置为对目标对象及其之间的关系进行存储与查询；检索交互模块，设置为从检索信息提取关键词，并获取与关键词对应的节点信息，最后创建数据交换文件返回用户界面。本发明还提供一种基于多模态知识图谱的图像场景检索方法，能够降低存储涉及多幅图像场景结果的难度，简单直观且全面地展示出目标对象及其之间的关系。同时，本发明提高检索的准确性和场景检索的效率。

公开(公告)号：CN111694965A

公开(公告)日：2020-09-22

申请号：CN202010478948.3

申请日：2020-05-29

Applicant: 中国科学院上海微系统与信息技术研究所

Inventor： 陈南希 ,  张柔佳 ,  夏春天 ,  张琳瑜 ,  张晓林

IPC: G06F16/36 ,  G06K9/00 ,  G06N5/04 ,  G06K9/62

Abstract: 本发明涉及一种基于多模态知识图谱的图像场景检索系统，通过用户界面输入检索信息并获取检索结果，包括：场景采集模块，设置为采集若干包含不同目标对象的图像场景；场景解析模块，设置为对采集的图像进行场景理解，得到不同目标对象及其之间的关系；多模态数据管理模块，设置为对目标对象及其之间的关系进行存储与查询；检索交互模块，设置为从检索信息提取关键词，并获取与关键词对应的节点信息，最后创建数据交换文件返回用户界面。本发明还提供一种基于多模态知识图谱的图像场景检索方法，能够降低存储涉及多幅图像场景结果的难度，简单直观且全面地展示出目标对象及其之间的关系。同时，本发明提高检索的准确性和场景检索的效率。