公开(公告)号：CN116310667A

公开(公告)日：2023-06-23

申请号：CN202310542990.0

申请日：2023-05-15

Applicant: 鹏城实验室

Inventor： 王耀威 ,  李鑫 ,  郑伟诗 ,  高义朋 ,  严俊楷

IPC: G06V10/778 ,  G06V10/774 ,  G06V10/40

Abstract: 本申请实施例提供了联合对比损失和重建损失的自监督视觉表征学习方法及装置、存储介质，通过深度编码教师网络和深度编码学生网络根据原始输入图像构建蒸馏损失，以学习具有判别特性的特征；在深度编码学生网络的输出特征之上，添加解码网络用于重建原始输入图像，并构建了重建损失，以学习具有复原特性的特征；深度编码教师网络使用最后一层原始特征的自注意力图，计算自适应权重以调整蒸馏损失与重建损失的作用。本申请实施例中，通过构建蒸馏损失和重建损失以实现对于两种类型损失的联合优化，使得在相同的训练代价下所训练得到的深度编码教师网络和深度编码学生网络兼具良好判别能力和信息表征能力，有利于提高图像表征的全面性和泛化性。

公开(公告)号：CN116310667B

公开(公告)日：2023-08-22

申请号：CN202310542990.0

申请日：2023-05-15

Applicant: 鹏城实验室

Inventor： 王耀威 ,  李鑫 ,  郑伟诗 ,  高义朋 ,  严俊楷

IPC: G06V10/778 ,  G06V10/774 ,  G06V10/40

Abstract: 本申请实施例提供了联合对比损失和重建损失的自监督视觉表征学习方法及装置、存储介质，通过深度编码教师网络和深度编码学生网络根据原始输入图像构建蒸馏损失，以学习具有判别特性的特征；在深度编码学生网络的输出特征之上，添加解码网络用于重建原始输入图像，并构建了重建损失，以学习具有复原特性的特征；深度编码教师网络使用最后一层原始特征的自注意力图，计算自适应权重以调整蒸馏损失与重建损失的作用。本申请实施例中，通过构建蒸馏损失和重建损失以实现对于两种类型损失的联合优化，使得在相同的训练代价下所训练得到的深度编码教师网络和深度编码学生网络兼具良好判别能力和信息表征能力，有利于提高图像表征的全面性和泛化性。