公开(公告)号：CN115297008A

公开(公告)日：2022-11-04

申请号：CN202210793410.0

申请日：2022-07-07

Applicant: 鹏城实验室

Inventor： 张艳 ,  王晖 ,  王进 ,  颜达森 ,  易泽轩 ,  陶恒韬 ,  蒋芳清 ,  秦爽 ,  徐增林 ,  曾炜 ,  余跃

IPC: H04L41/14 ,  G06K9/62 ,  G06N5/04

Abstract: 本发明公开了一种基于智算网络的协同训练方法、装置、终端及存储介质，方法包括：获取若干个待训练算法及对应的数据集，并根据获取的若干个算法及数据集生成多个任务组；根据选择的任务组确定分布式智能协同计算平台中的待训练终端，并确定各待训练终端对应的待训练算法及数据集；通过跨异构智算中心的协同训练策略对所有待训练终端的模型进行协同训练及推理，得到协同训练及推理结果；根据所述协同训练及推理结果获取多模型融合策略，并通过所述多模型融合策略对训练后终端中的算法进行融合，得到基于分布式多框架的跨异构智算中心的协同计算模型。本发明可以实现单集群难以实现的大模型协同训练、多模型融合、大模型压缩等技术。

公开(公告)号：CN114548206A

公开(公告)日：2022-05-27

申请号：CN202111542809.3

申请日：2021-12-16

Applicant: 鹏城实验室

Inventor： 张艳 ,  颜达森 ,  王进 ,  秦爽 ,  王晖 ,  曾炜

IPC: G06K9/62 ,  G06V10/80 ,  G06V10/774

Abstract: 本发明涉及模型训练技术领域，具体是涉及一种基于集群的模型训练方法、装置、设备及存储介质。本发明将待训练模型放在各个集群上利用各个集群上的局部数据进行模型的训练，本发明将待训练模型放在各个集群上，因此本发明不需要将各个集群上的数据迁移至各个集群的外部就可以利用各个集群的数据对模型进行训练，从而保护了各个集群上的数据隐私以防止数据泄密。