公开(公告)号：CN119669755A

公开(公告)日：2025-03-21

申请号：CN202411728003.7

申请日：2024-11-28

Applicant: 哈尔滨工业大学(威海)

Inventor： 易志伟 ,  张柏林 ,  涂志莹 ,  初佃辉

IPC: G06F18/214 ,  G06F18/22 ,  G06F40/30 ,  G06F16/3329 ,  G06N3/045 ,  G06N3/0985 ,  G06N5/022 ,  G06N5/04

Abstract: 本发明公开了一种用于多跳问答检索模型的数据增强及训练方法，包括如下步骤：步骤1、获取一个多跳问答数据集，该数据集由多跳问题及其对应的文档集合组成，文档集合包括第一跳检索文档、第二跳检索文档以及其他相关文档；步骤2、对文档集合中的第一跳文档、第二跳文档进行正例去噪，得到去噪后的文档用作模型训练的新正例，文档其他残余部分作为训练补充负例；步骤3、将得到的数据输入到多跳问答预训练语言模型进行训练。本发明提出了一种基于命题子句的正例去噪策略，通过将命题子句作为中间步骤，显著减少文档段落中与问题无关的信息干扰，从而提高模型对相关信息的捕获精度和效率。这一策略增强了模型在多跳推理任务中的准确性和鲁棒性。

公开(公告)号：CN119179495B

公开(公告)日：2025-03-25

申请号：CN202411191319.7

申请日：2024-08-28

Applicant: 哈尔滨工业大学(威海)

Inventor： 田一民 ,  张柏林 ,  隋典伯 ,  涂志莹 ,  初佃辉

IPC: G06F8/60 ,  G06F40/16 ,  G06N5/04

Abstract: 本发明公开了一种面向跨领域多任务的大模型适配器高效部署方法及系统，所述方法包括如下步骤：步骤S1、构造模型adapter索引；步骤S2、构造用于训练selector的混合表征数据集；步骤S3、训练selector；步骤S4、基于selector的适配器联合部署。本发明提出了大语言模型部署中适配器选择器selector这一概念，可以根据模型的输入精准判断输入对应的领域和任务，从而引导系统精准将大模型与这一领域与任务的模型适配器精准匹配并重组，提高了多任务推理的准确度；同时提出了selector的训练方法和携带selector的大模型的推理流程和部署方法，提高了有限资源的资源利用率。

公开(公告)号：CN119179495A

公开(公告)日：2024-12-24

申请号：CN202411191319.7

申请日：2024-08-28

Applicant: 哈尔滨工业大学(威海)

Inventor： 田一民 ,  张柏林 ,  隋典伯 ,  涂志莹 ,  初佃辉

IPC: G06F8/60 ,  G06F40/16 ,  G06N5/04

Abstract: 本发明公开了一种面向跨领域多任务的大模型适配器高效部署方法及系统，所述方法包括如下步骤：步骤S1、构造模型adapter索引；步骤S2、构造用于训练selector的混合表征数据集；步骤S3、训练selector；步骤S4、基于selector的适配器联合部署。本发明提出了大语言模型部署中适配器选择器selector这一概念，可以根据模型的输入精准判断输入对应的领域和任务，从而引导系统精准将大模型与这一领域与任务的模型适配器精准匹配并重组，提高了多任务推理的准确度；同时提出了selector的训练方法和携带selector的大模型的推理流程和部署方法，提高了有限资源的资源利用率。