公开(公告)号：CN119475211A

公开(公告)日：2025-02-18

申请号：CN202411447063.1

申请日：2024-10-16

Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)

Inventor： 李晶 ,  杜国东 ,  邓皓键 ,  周炫宁 ,  唐骐 ,  苏嘉豪 ,  何道敬 ,  张民

IPC: G06F18/25 ,  G06F18/22 ,  G06N5/022 ,  G06N3/048 ,  G06N3/0985 ,  G06N5/01 ,  G06F16/242

Abstract: 本发明提供一种基于参数制约的大语言模型知识融合方法及装置，涉及知识融合技术领域。该方法包括：获取多个任务模型；采用非线性激活函数对多个任务模型中的任务向量进行冗余参数抑制，获得冗余参数的抑制程度；采用非线性激活函数计算初始任务向量中相同位置参数的相似性；根据冗余参数的抑制程度以及相似性，获得任务向量中的参数重要性得分；根据任务向量中的参数重要性得分，获得最终合并的任务向量；将最终合并的任务向量进行重新缩放，生成合并后的任务模型参数。采用本发明可提升大语言模型合并性能。

公开(公告)号：CN114912368A

公开(公告)日：2022-08-16

申请号：CN202210651534.5

申请日：2022-06-10

Applicant: 哈尔滨工业大学(深圳)

Inventor： 邓皓键 ,  吴启荣 ,  杨森乔

IPC: G06F30/27 ,  G06F17/16 ,  G06F119/02

Abstract: 本发明提供了一种结合梯度算法和演化算法对神经网络模型进行优化的方法，包括步骤1：使用梯度算法对神经网络模型进行初步训练；步骤2：将使用梯度算法优化神经网络模型所得最后N个迭代的优化解取出，将最后N个迭代的优化解作为演化算法的初始搜索范围；步骤3：使用演化算法对神经网络模型进行参数更新，获得更优解。本发明的有益效果是:本发明可以融合梯度算法与演化算法的优点，提高模型准确率，较大程度地保证模型收敛到全局最优解，确保模型稳定性，同时在不同数据集及神经网络模型中可广泛应用。