公开(公告)号：CN119475211A

公开(公告)日：2025-02-18

申请号：CN202411447063.1

申请日：2024-10-16

Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)

Inventor： 李晶 ,  杜国东 ,  邓皓键 ,  周炫宁 ,  唐骐 ,  苏嘉豪 ,  何道敬 ,  张民

IPC: G06F18/25 ,  G06F18/22 ,  G06N5/022 ,  G06N3/048 ,  G06N3/0985 ,  G06N5/01 ,  G06F16/242

Abstract: 本发明提供一种基于参数制约的大语言模型知识融合方法及装置，涉及知识融合技术领域。该方法包括：获取多个任务模型；采用非线性激活函数对多个任务模型中的任务向量进行冗余参数抑制，获得冗余参数的抑制程度；采用非线性激活函数计算初始任务向量中相同位置参数的相似性；根据冗余参数的抑制程度以及相似性，获得任务向量中的参数重要性得分；根据任务向量中的参数重要性得分，获得最终合并的任务向量；将最终合并的任务向量进行重新缩放，生成合并后的任务模型参数。采用本发明可提升大语言模型合并性能。