一种基于虚拟增强的人-物交互检测方法

    公开(公告)号:CN117115695A

    公开(公告)日:2023-11-24

    申请号:CN202311121543.4

    申请日:2023-09-01

    Applicant: 厦门大学

    Abstract: 一种基于虚拟增强的人‑物交互检测方法,涉及人物交互检测领域。根据物体及动作类别生成自然文本描述,利用文本到图像生成模型生成对应虚拟图像数据。为了消除图像生成过程中的不确定性和不稳定性,通过优化文本描述提高图像数据生成质量和多样性,通过场景评估过滤分布外数据,通过检测与语义验证确保图像内容的正确性。为了进一步提升图像标注信息的利用,采用教师‑学生框架,在原始数据训练的基础上利用教师模型为虚拟数据生成伪标签,根据自适应二分匹配的方式解决标签质量问题,再利用高置信筛选的方式补充额外的标签信息。解决人‑物交互检测中存在的类别偏置问题。在人物交互数据集上,可以以后处理的方式提高现有模型的预测准确性。

Patent Agency Ranking