公开(公告)号：CN117787342A

公开(公告)日：2024-03-29

申请号：CN202311823159.9

申请日：2023-12-27

Applicant: 哈尔滨工业大学 ,  度小满科技(北京)有限公司

Inventor： 刘铭 ,  王禹鑫 ,  汪泽堃 ,  单黎平 ,  杨青 ,  许冬亮 ,  秦兵

IPC: G06N3/0455 ,  G06N3/0499 ,  G06N3/082 ,  G06N3/084 ,  G06N3/096 ,  G06N3/0985 ,  G06F18/22

Abstract: 用于视觉语言模型的自适应标记与注意力剪枝方法，涉及数据处理技术领域。本发明是为了解决现有视觉语言模型加速方法处理后的视觉语言模型性能差，最终导致视觉语言模型在处理图像文本匹配时准确率低的问题。本发明包括：获取图像序列和文本序列，将图像序列和文本序列组成原始数据集，将原始数据集划分为训练集、测试集；将修剪器加入到预训练好的主干模型中获得剪枝模型，利用训练集对剪枝模型进行训练，获得训练好的剪枝模型；所述剪枝模型包括：单模态编码器、加入修剪器的跨模态编码器；利用测试集对训练好的剪枝模型进行测试，获得最终的剪枝模型。本发明用于修剪视觉语言模型冗余标记和注意力头。