-
公开(公告)号：CN117668504A
公开(公告)日：2024-03-08
申请号：CN202311646566.7
申请日：2023-12-04
Applicant: 哈尔滨工业大学
IPC: G06F18/21 , G06F18/214 , G06V10/774
Abstract: 一种基于高效梯度近似的黑盒预训练多模态模型微调方法，属于预训练深度学习模型的自适应领域。本发明针对现有模型微调方法不适用于黑盒预训练模型的调优，无法提升黑盒预训练模型在下游任务上的性能的问题。包括设置提示词模块以学习适应下游任务的语境；将提示词前缀与文本编码器原输入文本的类别词拼接后，输入文本编码器进行编码，获得文本类别特征向量；由特征适配器处理图像编码器输出的特征，获得输入图像的视觉特征；基于文本类别特征向量和输入图像视觉特征的匹配结果计算损失函数；基于多次随机扰动的梯度估计算法对提示词模块的参数进行优化；对特征适配器使用梯度反向传播算法进行优化。本发明用于预训练模型的调优。
Search Results
1
records
(took 0.016 seconds)
筛选
AND
AND
过滤
NOT
NOT
Scan to Join
