公开(公告)号：CN113627557B

公开(公告)日：2023-10-03

申请号：CN202110954631.7

申请日：2021-08-19

Applicant: 电子科技大学

Inventor： 张栗粽 ,  田玲 ,  解修蕊 ,  段贵多 ,  罗光春 ,  张雨林 ,  李濛

IPC: G06V10/82 ,  G06V10/764 ,  G06V10/766 ,  G06V10/25 ,  G06V10/80 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/0475 ,  G06N3/0442 ,  G06N3/048 ,  G06N3/084

Abstract: 本发明涉及计算机视觉领域中的视觉关系检测技术，其公开了一种基于上下文图注意力机制的场景图生成方法，通过充分挖掘外部知识以及目标的上下文信息，从而提高场景图生成的准确率。该方法通过上下文融合目标的外部知识向量、空间特征以及视觉特征，获得融合后的特征向量；根据目标的邻接矩阵，并结合融合后的特征向量进行图注意力网络的初始化；利用样本数据集中的统计信息计算目标关系的频率系数，并利用目标上下文特征计算图注意力系数；通过图注意力网络的信息迭代获得目标的最终向量表示并计算目标之间的关系，利用目标之间的关系以及目标的损失函数进行梯度下降更新，从而生成视觉关系检测模型；针对待检测图像，根据视觉关系检测模型生成场景图。

公开(公告)号：CN113627557A

公开(公告)日：2021-11-09

申请号：CN202110954631.7

申请日：2021-08-19

Applicant: 电子科技大学

Inventor： 张栗粽 ,  田玲 ,  解修蕊 ,  段贵多 ,  罗光春 ,  张雨林 ,  李濛

IPC: G06K9/62 ,  G06K9/32 ,  G06K9/46 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明涉及计算机视觉领域中的视觉关系检测技术，其公开了一种基于上下文图注意力机制的场景图生成方法，通过充分挖掘外部知识以及目标的上下文信息，从而提高场景图生成的准确率。该方法通过上下文融合目标的外部知识向量、空间特征以及视觉特征，获得融合后的特征向量；根据目标的邻接矩阵，并结合融合后的特征向量进行图注意力网络的初始化；利用样本数据集中的统计信息计算目标关系的频率系数，并利用目标上下文特征计算图注意力系数；通过图注意力网络的信息迭代获得目标的最终向量表示并计算目标之间的关系，利用目标之间的关系以及目标的损失函数进行梯度下降更新，从而生成视觉关系检测模型；针对待检测图像，根据视觉关系检测模型生成场景图。