一种基于提示工程和对比学习的图像分类方法

    公开(公告)号:CN116958700A

    公开(公告)日:2023-10-27

    申请号:CN202310955757.5

    申请日:2023-08-01

    Abstract: 一种基于提示工程和对比学习的图像分类方法,通过在视觉和文本两个模态使用Soft Prompt Tuning以实现对下游任务的适配,实现跨模态的双路多层感知机。本方法基于文本和图像特征,在11个公开数据集上可以实现较高的图像分类准确率,平均识别准确率在82.5%以上;本方法基于大规模预训练模型和提示微调的技术,在训练过程中只需要调整少量的模型参数,节省计算资源;本方法在多模态模型CLIP的训练过程中,将对比学习和少标签学习的损失结合起来,在先前技术的基础上,提升了模型收敛的速度。

Patent Agency Ranking