-
公开(公告)号：CN119179495B
公开(公告)日：2025-03-25
申请号：CN202411191319.7
申请日：2024-08-28
Applicant: 哈尔滨工业大学(威海)
Abstract: 本发明公开了一种面向跨领域多任务的大模型适配器高效部署方法及系统，所述方法包括如下步骤：步骤S1、构造模型adapter索引；步骤S2、构造用于训练selector的混合表征数据集；步骤S3、训练selector；步骤S4、基于selector的适配器联合部署。本发明提出了大语言模型部署中适配器选择器selector这一概念，可以根据模型的输入精准判断输入对应的领域和任务，从而引导系统精准将大模型与这一领域与任务的模型适配器精准匹配并重组，提高了多任务推理的准确度；同时提出了selector的训练方法和携带selector的大模型的推理流程和部署方法，提高了有限资源的资源利用率。
-
公开(公告)号：CN119179495A
公开(公告)日：2024-12-24
申请号：CN202411191319.7
申请日：2024-08-28
Applicant: 哈尔滨工业大学(威海)
Abstract: 本发明公开了一种面向跨领域多任务的大模型适配器高效部署方法及系统，所述方法包括如下步骤：步骤S1、构造模型adapter索引；步骤S2、构造用于训练selector的混合表征数据集；步骤S3、训练selector；步骤S4、基于selector的适配器联合部署。本发明提出了大语言模型部署中适配器选择器selector这一概念，可以根据模型的输入精准判断输入对应的领域和任务，从而引导系统精准将大模型与这一领域与任务的模型适配器精准匹配并重组，提高了多任务推理的准确度；同时提出了selector的训练方法和携带selector的大模型的推理流程和部署方法，提高了有限资源的资源利用率。
-
Search Results
2
records
(took 0.026 seconds)
