公开(公告)号：CN117373111A

公开(公告)日：2024-01-09

申请号：CN202311180607.8

申请日：2023-09-13

Applicant: 华南理工大学

Inventor： 刘琦 ,  王煜骁 ,  雷玉 ,  蒋新宇 ,  薛炜樱 ,  梁俊杰

IPC: G06V40/20 ,  G06V40/10 ,  G06V10/44 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明公开了一种基于AutoHOINet的人‑物交互检测方法，包括以下步骤：从待检测图像中获得其视觉模态向量；通过候选图像构建模块，提取待检测图像中的人物对象和物体对象，并对其进行重构，生成候选图像；利用人物潜在关系挖掘模块，进行人物关联分析和潜在关系挖掘，发现人物对象和物体对象之间各种潜在交互关系；借助人物关系推理模块，从潜在关系中筛选出目标关系，生成伪标签，指导HOI模型的学习过程；最后利用生成的伪标签，引导HOI模型的学习，从而实现对人物交互的检测。本发明能够在无需使用人工标注的HOI标签数据和弱监督情况下，在两个基准数据集上均优于当前使用图像级交互标签的弱监督HOI模型。