公开(公告)号：CN117746140B

公开(公告)日：2025-01-10

申请号：CN202311772256.X

申请日：2023-12-21

Applicant: 哈尔滨工业大学

Inventor： 左旺孟 ,  黄梓桐 ,  陈致兴 ,  董伯文

IPC: G06V10/764 ,  G06N3/084 ,  G06F18/22 ,  G06V10/82 ,  G06N3/045

Abstract: 一种基于提示词微调和特征重放的小样本类增量图像分类方法，属于计算机视觉领域中的小样本类增量图像分类领域。本发明针对现有基于纯视觉模型的小样本类增量图像分类方法分类能力差的问题。包括使用可学习提示词和类别名的拼接作为文本编码器的输入，利用图像特征和文本特征的匹配结果，以及真实标签计算交叉熵损失函数来优化可学习提示词；利用上一阶段训练好的提示词来初始化当前阶段的提示词，根据每个类别训练图片的特征，以及VAE输出的合成特征，来估计每个类别特征层面上的高斯分布；在当前阶段使用旧类别的特征高斯分布做虚拟特征采样，计算交叉熵损失函数，并综合新旧类别的交叉熵损失来约束提示词的优化方向。本发明用于增量图像分类。

公开(公告)号：CN117746140A

公开(公告)日：2024-03-22

申请号：CN202311772256.X

申请日：2023-12-21

Applicant: 哈尔滨工业大学

Inventor： 左旺孟 ,  黄梓桐 ,  陈致兴 ,  董伯文

IPC: G06V10/764 ,  G06N3/084 ,  G06F18/22 ,  G06V10/82 ,  G06N3/045

Abstract: 一种基于提示词微调和特征重放的小样本类增量图像分类方法，属于计算机视觉领域中的小样本类增量图像分类领域。本发明针对现有基于纯视觉模型的小样本类增量图像分类方法分类能力差的问题。包括使用可学习提示词和类别名的拼接作为文本编码器的输入，利用图像特征和文本特征的匹配结果，以及真实标签计算交叉熵损失函数来优化可学习提示词；利用上一阶段训练好的提示词来初始化当前阶段的提示词，根据每个类别训练图片的特征，以及VAE输出的合成特征，来估计每个类别特征层面上的高斯分布；在当前阶段使用旧类别的特征高斯分布做虚拟特征采样，计算交叉熵损失函数，并综合新旧类别的交叉熵损失来约束提示词的优化方向。本发明用于增量图像分类。