-
公开(公告)号:CN116958700A
公开(公告)日:2023-10-27
申请号:CN202310955757.5
申请日:2023-08-01
Applicant: 南京邮电大学
IPC: G06V10/764 , G06V10/80 , G06V10/82 , G06N3/0455 , G06N3/0895
Abstract: 一种基于提示工程和对比学习的图像分类方法,通过在视觉和文本两个模态使用Soft Prompt Tuning以实现对下游任务的适配,实现跨模态的双路多层感知机。本方法基于文本和图像特征,在11个公开数据集上可以实现较高的图像分类准确率,平均识别准确率在82.5%以上;本方法基于大规模预训练模型和提示微调的技术,在训练过程中只需要调整少量的模型参数,节省计算资源;本方法在多模态模型CLIP的训练过程中,将对比学习和少标签学习的损失结合起来,在先前技术的基础上,提升了模型收敛的速度。