-
公开(公告)号:CN115239970A
公开(公告)日:2022-10-25
申请号:CN202110435066.3
申请日:2021-04-22
Applicant: 南京大学
IPC: G06V10/44 , G06V10/764 , G06V10/82 , G06N3/04 , G06N3/08
Abstract: 一种基于自监督的RGB‑D特征学习方法,包括以下步骤:1)处理训练样例阶段;2)网络配置阶段;3)训练阶段;4)测试阶段。本发明设计的自监督设计框架将Depth和RGB进行有效结合,通过对比学习和生成学习迫使自监督模型学习模态之间的共享信息,从而获得有效的特征表示,更好的服务下游任务。相比现在的方法使用RGB预训练模型初始化Depth分支模型存在模态差异,以及使用像素级约束存在样本分布不均匀等问题。本发明通过自监督学习以及对比学习等方式有效地融合Depth和RGB信息,并避免了这类问题。