公开(公告)号：CN111985505A

公开(公告)日：2020-11-24

申请号：CN202010848981.0

申请日：2020-08-21

Applicant: 南京大学

Inventor： 任桐炜 ,  武港山 ,  王浩楠 ,  于凡

IPC: G06K9/46 ,  G06F40/30 ,  G06N3/04 ,  G06Q10/04 ,  G06T7/73

Abstract: 一种基于兴趣传播网络的兴趣视觉关系检测方法及装置，从输入图像中提取物体，并两两组合为物体对，计算相应的物体特征和联合特征，生成物体和物体对的视觉特征、语义特征和位置特征，经线性变换得到物体和物体对的兴趣特征，由此预测物体对兴趣度，并将物体对关系谓语的视觉特征、语义特征和位置特征经线性变换得到关系谓语的兴趣特征，预测物体间的关系谓语兴趣度；最后将物体对兴趣度和关系谓语兴趣度相结合得到视觉关系兴趣度，兴趣度高的视觉关系即为最终检测出的兴趣视觉关系。本发明在检测视觉关系的过程中能够以语义重要性为标准更合理地预测关系兴趣度，找出能够准确传达图像主体内容的兴趣视觉关系，具有良好的广泛性与实用性。

公开(公告)号：CN111985505B

公开(公告)日：2024-02-13

申请号：CN202010848981.0

申请日：2020-08-21

Applicant: 南京大学

Inventor： 任桐炜 ,  武港山 ,  王浩楠 ,  于凡

IPC: G06V10/44 ,  G06F40/30 ,  G06N3/042 ,  G06N3/0464 ,  G06N3/0455 ,  G06T7/73 ,  G06V10/82

Abstract: 达图像主体内容的兴趣视觉关系，具有良好的广一种基于兴趣传播网络的兴趣视觉关系检 泛性与实用性。测方法及装置，从输入图像中提取物体，并两两组合为物体对，计算相应的物体特征和联合特征，生成物体和物体对的视觉特征、语义特征和位置特征，经线性变换得到物体和物体对的兴趣特征，由此预测物体对兴趣度，并将物体对关系谓语的视觉特征、语义特征和位置特征经线性变换得到关系谓语的兴趣特征，预测物体间的关系谓语兴趣度；最后将物体对兴趣度和关系谓语兴趣度相结合得到视觉关系兴趣度，兴趣度高的视(56)对比文件陈方芳.基于目标对筛选和联合谓语识别的视觉关系检测《.中国优秀硕士学位论文全文数据库 信息科技辑》.2019,(第8期),I138-657.Yu, Fan，等.Visual Relation ofInterest Detection《.MM '20: PROCEEDINGSOF THE 28TH ACM INTERNATIONAL CONFERENCEON MULTIMEDIA》.2020,第1386-1394页.