一种高效自适应的图片人物交互检测方法和系统

    公开(公告)号:CN119495128A

    公开(公告)日:2025-02-21

    申请号:CN202311130958.8

    申请日:2023-09-04

    Applicant: 北京大学

    Abstract: 本发明涉及一种高效自适应的图片人物交互检测方法和系统。该系统包含两种运行模式:免训练模式:系统利用预训练的目标检测器和多模态模型,构建多分支的概念引导的人物交互记忆模块,来同时存储特定域视觉知识和普遍域语义知识,完成人物交互检测;微调模式:利用基于注意力机制的轻量级适配器,为模型中的视觉编码器融入实例级的先验知识,同时更新人物交互记忆模块中存储的知识,获得更好的人物编码特征。本发明中免训练下的模型可以在只有少量样本的情况下完成人物交互检测任务并取得有竞争力的性能,微调模式下的模型可以获得更加空间敏感的成对关系特征,让人物交互关系检测更加准确。

Patent Agency Ranking