公开(公告)号：CN119623572A

公开(公告)日：2025-03-14

申请号：CN202411510808.4

申请日：2024-10-28

Applicant: 吉林大学

Inventor： 常毅 ,  郭丹丹 ,  唐帆 ,  任海瑞

IPC: G06N3/096 ,  G06N3/0455 ,  G06N3/045 ,  G06V10/80 ,  G06F18/25 ,  G06F18/213 ,  G06V10/40

Abstract: 本申请公开了一种基于模态一致性的提示学习方法以及计算机设备，属于计算机技术领域。通过本申请实施例提供的技术方案，利用目标视觉语言预训练模型，基于文本提示和多个样本类别文本，得到多个文本嵌入特征。利用视觉提示和多个样本图像，得到多个视觉嵌入特征，文本提示和视觉提示均属于目标领域。确定多个视觉嵌入特征的视觉特征分布以及多个文本嵌入特征的文本特征分布，利用视觉特征分布和文本特征分布来确定预测传输矩阵，预测传输矩阵用于表示多个视觉嵌入特征变换为多个文本嵌入特征的方式。基于预测传输矩阵、多个视觉嵌入特征以及标注信息对文本提示和视觉提示进行调整，从而利用特征和特征分布来进行提示学习，提高提示学习的效果。