公开(公告)号：CN119090003A

公开(公告)日：2024-12-06

申请号：CN202411002420.3

申请日：2024-07-25

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  蔡昕悦 ,  吴明瑞 ,  纪家沂 ,  孙晓帅

IPC: G06N5/04 ,  G06N5/045 ,  G06F16/332 ,  G06V20/70 ,  G06V10/82 ,  G06N3/045 ,  G06N3/08

Abstract: 本发明公开一种多模态大语言模型的免训练视觉提示方法、电子设备和存储介质，无需训练即可将视觉提示集成到多模态大语言模型中。首先，对于给定图像和文本，图像通过视觉编码器和多层感知机得到视觉特征，文本通过文本编码器得到文本特征，同时定义一个与视觉特征相同尺寸的可学习潜在变量；接着，将潜在变量与视觉特征相结合，并与文本特征一起通过大语言模型部分计算得到多个注意力权重矩阵，这些矩阵经过平均池化处理以形成最终的注意力权重矩阵；根据输入的视觉提示，使用相应的能量函数计算并更新潜在变量的值，此过程重复多次以优化潜在变量；最终，更新后潜在变量与视觉特征相结合，并与文本特征一起通过大语言模型产生模型响应。