公开(公告)号：CN111860116A

公开(公告)日：2020-10-30

申请号：CN202010493237.3

申请日：2020-06-03

Applicant: 南京邮电大学

Inventor： 孙宁 ,  王龙玉 ,  李晓飞

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提出了一种基于深度学习和特权信息的场景识别方法，属于图像处理技术领域。其具体步骤包括(1.1)：从场景识别库中选取多个主要场景的RGB图像和深度图像，并将其与RGB图像进行配对；(1.2)：构建结合特权信息和注意力机制的端到端可训练的深度神经网络模型；(1.3)：对深度神经网络模型进行训练，训练时使用权重重分配的方式避免数据不均衡；(1.4)：得到该图像的场景分类结果。本发明以图像编码到特征解码再到图像编码为架构，建立了由RGB图像到深度图像再到深度图像高层语义特征的映射关系。有效解决了深度模态缺失的现状，在只使用RGB图像的情况下，达到了多模态图像融合的效果。

公开(公告)号：CN111860116B

公开(公告)日：2022-08-26

申请号：CN202010493237.3

申请日：2020-06-03

Applicant: 南京邮电大学

Inventor： 孙宁 ,  王龙玉 ,  李晓飞

IPC: G06V10/774 ,  G06V10/80 ,  G06V10/764 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提出了一种基于深度学习和特权信息的场景识别方法，属于图像处理技术领域。其具体步骤包括(1.1)：从场景识别库中选取多个主要场景的RGB图像和深度图像，并将其与RGB图像进行配对；(1.2)：构建结合特权信息和注意力机制的端到端可训练的深度神经网络模型；(1.3)：对深度神经网络模型进行训练，训练时使用权重重分配的方式避免数据不均衡；(1.4)：得到该图像的场景分类结果。本发明以图像编码到特征解码再到图像编码为架构，建立了由RGB图像到深度图像再到深度图像高层语义特征的映射关系。有效解决了深度模态缺失的现状，在只使用RGB图像的情况下，达到了多模态图像融合的效果。