公开(公告)号：CN118570370A

公开(公告)日：2024-08-30

申请号：CN202410602042.6

申请日：2024-05-15

Applicant: 重庆邮电大学

Inventor： 胡敏 ,  赵世洋 ,  黄宏程 ,  孙培博

IPC: G06T17/00 ,  G06V10/25 ,  G06V10/26 ,  G06V20/70 ,  G06V10/56 ,  G06V10/44 ,  G06V10/80 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/084

Abstract: 本发明涉及一种局部实体关系编码的场景图生成方法，属于计算机视觉领域。该方法包括：构建场景图生成任务；对给定图像进行特征提取，包括RGB特征提取和深度特征提取；并通过目标检测器得到给定图像的实体关系建议；结合实体关系建议将RGB特征和深度特征进行跨模态融合，得到融合特征信息；将融合特征信息作为局部实体关系编码器的附加输入标记以进行谓词关系预测。本发明通过关注局部实体特征来学习更丰富的实体表示以及谓词表示，从而实现对局部交互信息的获取和补全，同时减少模型参数，提升运行效率。