-
公开(公告)号:CN119783767A
公开(公告)日:2025-04-08
申请号:CN202411775751.0
申请日:2024-12-04
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06N3/098 , G06N3/084 , G06F9/50 , H04L67/1001 , H04L67/1095
Abstract: 一种基于分布式系统的模型训练方法、计算节点和系统,所述分布式系统包括n组计算节点,每组计算节点包括m个计算节点,每组中的m个计算节点与目标模型包括的m个参数集合分别对应,所述方法包括:每组中的m个计算节点联合进行多次训练,使得每组中的各个计算节点得到其对应的参数集合中各个参数的第一值;所述n组中与第一参数对应的n个第一计算节点基于所述第一参数的n个第一值,确定与所述第一参数对应的第二值;所述n个第一计算节点分别将所述第一参数的值同步为所述第二值。