-
公开(公告)号:CN117993432A
公开(公告)日:2024-05-07
申请号:CN202211342305.1
申请日:2022-10-31
Applicant: 华为云计算技术有限公司
IPC: G06N3/0464 , G06N3/084
Abstract: 本申请实施例提供了一种模型训练的方法,涉及计算机技术领域,该方法包括:根据N个第一训练模型的前向传播结果,确定N个第一梯度,该N个第一梯度与N个第一训练模型的前向传播结果一一对应,每个第一梯度是基于所对应的第一训练模型的前向传播结果确定的,每个第一训练模型配置在所对应的节点,该N个节点属于所述DNN的第一层;将该N个第一梯度传输至N个节点中的每个节点,该N个第一梯度用于所述每个节点更新所对应的第一训练模型中的第一模型参数。基于该方案,在DNN一层的模型训练结束后,即可进行模型参数的更新,为尽早进行参数保存提供条件,进而整体加快模型训练的效率。