公开(公告)号：CN116258868B

公开(公告)日：2025-04-18

申请号：CN202211575232.0

申请日：2022-12-08

Applicant: 北京邮电大学

Inventor： 赵志诚 ,  王伟秋

IPC: G06V10/44 ,  G06V10/764 ,  G06V10/774

Abstract: 本发明提供了一种分布自适应的渐进式长尾图像识别方法。所述方法包括：在图像识别模型训练初期，对模型施加类别无关的等距的边缘损失；在图像识别模型训练中期，基于模型分类器通过训练数据学习到的参数，周期性计算原始数据分布感知因子，并根据该因子对当前训练周期的模型施加类别相关的、数据分布自适应的非等距的边缘损失；在图像识别模型训练后期，根据训练后期开始时的模型分类器参数，计算原始数据分布感知因子，对训练后期的模型施加类别相关的、数据分布自适应的非等距边缘损失以及对损失进行类别相关的、数据分布自适应的重加权。本发明通过设计的感知分布因子，能够较好的应对训练数据分布未知或难以获取的情况。

公开(公告)号：CN116258868A

公开(公告)日：2023-06-13

申请号：CN202211575232.0

申请日：2022-12-08

Applicant: 北京邮电大学

Inventor： 赵志诚 ,  王伟秋

IPC: G06V10/44 ,  G06V10/764 ,  G06V10/774

Abstract: 本发明提供了一种分布自适应的渐进式长尾图像识别方法。所述方法包括：在图像识别模型训练初期，对模型施加类别无关的等距的边缘损失；在图像识别模型训练中期，基于模型分类器通过训练数据学习到的参数，周期性计算原始数据分布感知因子，并根据该因子对当前训练周期的模型施加类别相关的、数据分布自适应的非等距的边缘损失；在图像识别模型训练后期，根据训练后期开始时的模型分类器参数，计算原始数据分布感知因子，对训练后期的模型施加类别相关的、数据分布自适应的非等距边缘损失以及对损失进行类别相关的、数据分布自适应的重加权。本发明通过设计的感知分布因子，能够较好的应对训练数据分布未知或难以获取的情况。

公开(公告)号：CN118644712A

公开(公告)日：2024-09-13

申请号：CN202410707319.1

申请日：2024-06-03

Applicant: 北京邮电大学

Inventor： 苏菲 ,  赵志诚 ,  王伟秋

IPC: G06V10/764 ,  G06V10/82 ,  G06V10/44 ,  G06V10/74 ,  G06V10/774 ,  G06N3/0455 ,  G06N3/084 ,  G06N3/0985

Abstract: 本发明提供了一种基于局部令牌语义挖掘的长尾参数高效微调方法。所述方法包括：采用预训练的序列化视觉编码器初始化图像特征提取模型，并使用相应的预训练的文本编码器提取类别文本特征对分类器权重进行初始化；然后对图像进行序列化，使用图像特征提取模型和参数高效微调模块提取序列化图像特征；通过语义聚合函数，挖掘并聚合局部序列化特征中局部令牌所包含的语义信息，用以增强序列化特征中的类别令牌特征，获得增强类别令牌特征；然后采用概率控制样本补充策略，灵活地利用增强类别令牌特征对各类别样本进行补充，从而缓解长尾分布问题；最后通过图像分类损失和令牌特征一致性损失监督参数高效微调模块、语义聚合函数和分类器的学习。本发明提出的框架能够应对预训练模型用于下游长尾图像分类任务时，所遇到的的信息不平衡和缺失问题。此框架能够大幅提升基于预训练序列化模型的多种参数高效微调方法及多种分类损失函数在长尾分布场景中的图像分类性能，具有较强的实用性。

公开(公告)号：CN117689957A

公开(公告)日：2024-03-12

申请号：CN202410014192.5

申请日：2024-01-04

Applicant: 北京邮电大学

Inventor： 赵志诚 ,  王伟秋

IPC: G06V10/764 ,  G06V10/20 ,  G06V10/74 ,  G06V10/82 ,  G06N3/09 ,  G06N3/084 ,  G06N3/0464

Abstract: 本发明提供了一种基于文本指导傅里叶数据增强的长尾图像识别方法。所述方法包括：基于填平策略，确定长尾训练数据的分布，即设定需要增强的类别比例，对需要增强的类别后续将生成样本以增加其数量与剩余类别中最小样本数持平；根据得到的训练数据分布，进行样本采样，若采样样本为原始样本，则进行传统数据增强，若采样样本为待生成样本，则采用基于文本指导的傅里叶数据增强方法生成新样本作为补充数据，然后进行传统数据增强；将数据增强后的原始样本或者新样本用于有监督对比学习框架，通过分类和对比损失驱动模型进行学习。本发明通过对长尾分布中，训练数据稀少的尾部类别，进行针对性的基于文本指导的傅里叶数据增强，生成新的样本来提升尾部类别数据的多样性，有效的增强了端到端的有监督对比学习方法在长尾图像识别上的性能。