一种基于知识嵌入的视觉关系检测方法

    公开(公告)号:CN116704202A

    公开(公告)日:2023-09-05

    申请号:CN202310746413.3

    申请日:2023-06-21

    Abstract: 本发明公开了一种基于知识嵌入的视觉关系检测方法,包括以下步骤:输入图像,分别检测目标初始类别预测特征、目标边界框的空间特征以及目标对联合区域的视觉特征;定义先验知识的类型,并针对每种先验类型构建对应的知识图;将目标初始类别预测特征构建为以节点和边表示的图形结构,并将知识图表示为图形结构对应的邻接矩阵;基于门控图神经网络GGNN的更新机制,得到相互关联的目标类别特征;根据目标边界框的空间特征、目标类别特征与目标对联合区域的视觉特征,得到上下文信息,通过softmax函数对每个目标对进行视觉关系检测,解决了在视觉关系检测时图像信息捕捉和理解不完全以及在复杂场景下的性能表现不高的问题。

Patent Agency Ranking