公开(公告)号：CN118981385A

公开(公告)日：2024-11-19

申请号：CN202410987881.4

申请日：2024-07-23

Applicant: 中国移动通信集团浙江有限公司 ,  中国移动(浙江)创新研究院有限公司 ,  中国移动通信集团有限公司

Inventor： 孙超 ,  朱安杰 ,  严昱超 ,  高建波 ,  祝贺功 ,  卢宇婷 ,  董雨校

IPC: G06F9/54 ,  G06N5/04

Abstract: 本申请公开了一种数据处理方法、装置、电子设备、存储介质及程序产品，属于数据处理技术领域，用以降低显存占用，提供数据处理效率。所述方法包括：确定用于处理待处理数据的目标专家模型；通过第一内存的共享权重和第二内存的目标低秩矩阵构造所述目标专家模型，所述目标低秩矩阵为预先对所述目标专家模型进行分解得到的；通过所述目标专家模型处理所述待处理数据。

公开(公告)号：CN118796505A

公开(公告)日：2024-10-18

申请号：CN202410695325.X

申请日：2024-05-31

Applicant: 中国移动通信集团浙江有限公司 ,  中国移动(浙江)创新研究院有限公司 ,  中国移动通信集团有限公司

Inventor： 高建波 ,  董琦聪 ,  宋冬冬 ,  余立 ,  严昱超 ,  王晓征 ,  蒋健 ,  张奕林 ,  孙超 ,  丛鹏宇

IPC: G06F9/54 ,  G06N20/00 ,  G06N5/04

Abstract: 本发明提供一种基于大语言模型的业务处理方法及装置，其中方法包括：基于算力网络接收目标业务请求；算力网络基于预先存储的业务请求与适配器之间映射关系，从多个适配器中确定目标业务请求对应的目标适配器；算力网络基于基座大语言模型以及目标适配器，构建目标业务请求的目标推理服务，并基于目标推理服务，处理目标业务请求。本发明提供的基于大语言模型的业务处理方法及装置，通过算力网络仅需要部署一个完整基座大语言模型，基于多个适配器之间的切换即可完成推理能力的切换，显著节省算力资源，使得不同类型的适配器可以在同一推理任务中协同工作，大幅度提高处理效率。