公开(公告)号：CN118708735A

公开(公告)日：2024-09-27

申请号：CN202410932891.8

申请日：2024-07-12

Applicant: 新疆大学

Inventor： 王佳 ,  战思聪 ,  张程 ,  张丹丹 ,  杨文忠 ,  曾浩东

IPC: G06F16/36 ,  G06F16/33 ,  G06V10/40 ,  G06V10/82 ,  G06V10/75 ,  G06N3/0464 ,  G06N5/01 ,  G06N5/022

Abstract: 本发明公开了一种基于外部知识图谱的图像描述方法，包括：目标检测、外部信息检索和介绍文本生成；主要包括：对待介绍图片进行目标检测，包括图像预处理、特征提取、目标检测、后处理优化和输出检测结果；利用关键词预测模型对检测结果进行关联关键词预测，将结果输入到外部知识图谱中检索出匹配的知识子图，再输入到子图知识评估器中得到与关键词最相关的知识子图。本公开的技术方案，在进行信息检索时无需知识图谱全部信息，只关注关联关键词的局部子图信息，同时提出了一个子图知识评估器，对预测的关联关键词进行相关性排序，以确保补充信息与目标检测结果相关程度的最大化。