公开(公告)号：CN113989582B

公开(公告)日：2024-08-02

申请号：CN202110988818.9

申请日：2021-08-26

Applicant: 中国科学院信息工程研究所

Inventor： 王伟平 ,  李晓倪 ,  周宇

IPC: G06V10/774 ,  G06V10/764 ,  G06V10/762 ,  G06N3/08 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/0895

Abstract: 本发明公开了一种基于密集语义对比的自监督视觉模型预训练方法，其步骤包括：1)对于样本图像xi，利用数据增强方法a、b分别对样本图像xi增强后进行特征提取和映射，得到样本图像xi中每一个像素点pi的特征，即像素级特征#imgabs0#以及实例级特征#imgabs1#2)基于#imgabs2#和#imgabs3#进行对比学习，得到实例判别损失Lins；基于#imgabs4#和#imgabs5#进行对比学习，得到像素判别损失Lpix；3)根据像素点pi对应的正样本集计算邻居判别损失Lnei；4)对像素级特征集合va、vb分别执行聚类，分别获得K个聚类集群；然后对每个集群进行对比学习，计算聚类对比损失LKM；5)根据损失函数L＝Lins+Lpix+Lsem对自监督视觉模型进行端到端的训练。

公开(公告)号：CN113989582A

公开(公告)日：2022-01-28

申请号：CN202110988818.9

申请日：2021-08-26

Applicant: 中国科学院信息工程研究所

Inventor： 王伟平 ,  李晓倪 ,  周宇

IPC: G06V10/774 ,  G06V10/764 ,  G06V10/762 ,  G06N3/08 ,  G06N3/04

Abstract: 本发明公开了一种基于密集语义对比的自监督视觉模型预训练方法，其步骤包括：1)对于样本图像xi，利用数据增强方法a、b分别对样本图像xi增强后进行特征提取和映射，得到样本图像xi中每一个像素点pi的特征，即像素级特征以及实例级特征2)基于和进行对比学习，得到实例判别损失Lins；基于和进行对比学习，得到像素判别损失Lpix；3)根据像素点pi对应的正样本集计算邻居判别损失Lnei；4)对像素级特征集合va、vb分别执行聚类，分别获得K个聚类集群；然后对每个集群进行对比学习，计算聚类对比损失LKM；5)根据损失函数L＝Lins+Lpix+Lsem对自监督视觉模型进行端到端的训练。

公开(公告)号：CN112348048A

公开(公告)日：2021-02-09

申请号：CN202011040925.0

申请日：2020-09-28

Applicant: 中国科学院信息工程研究所

Inventor： 王伟平 ,  李晓倪 ,  周玉灿 ,  周宇

IPC: G06K9/62 ,  G06N3/04

Abstract: 本发明公开了一种多结构多任务深度神经网络及其训练、分类方法。本网络包括M个特征提取单元，一个用于识别样本子类类别的分类分支CCB和由K个用于对超类进行分类的超类分类器组成的超类分类分支MSCBs；每一超类分类器分别与一特征提取单元连接，用于基于提取的样本特征识别样本的超类类别；网络的损失函数为其中LCCB为CCB的损失函数，为第k个超类分类器的损失函数，分别是CCB、第k个超类分类器对样本x预测的子类和超类，c、是第k个分层标记结构Hk中的子类真实值、超类真实值。