公开(公告)号：CN114357676A

公开(公告)日：2022-04-15

申请号：CN202111535624.X

申请日：2021-12-15

Applicant: 华南理工大学

Inventor： 杨磊 ,  甘颖棋

IPC: G06F30/18 ,  G06F30/27 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种针对层次化模型训练框架的聚合频率控制方法，包括以下步骤：确定层次化模型训练聚合拓扑；定义在层次化模型训练框架下，采用弱同步的通信方式进行模型训练和聚合的过程；基于层次化模型训练聚合拓扑，对每个边缘节点进行资源建模；根据每个边缘节点的计算资源和通信资源，使用启发式的算法输出每个边缘节点的聚合频率，使得同一层的边缘节点具有不同的聚合频率，达到资源利用率的最大化；为了解决边缘节点聚合频率相差太大所带来的精度损失，使用自适应的方法，在模型训练的过程中动态地调整节点的聚合频率。本发明能够解决异构的边缘环境下，使用强同步的通信方法，造成通信时间长、资源利用率低以及训练效果不佳的问题。

公开(公告)号：CN114357676B

公开(公告)日：2024-04-02

申请号：CN202111535624.X

申请日：2021-12-15

Applicant: 华南理工大学

Inventor： 杨磊 ,  甘颖棋

IPC: G06F30/18 ,  G06F30/27 ,  G06F18/2431 ,  G06N3/045 ,  G06N3/084

Abstract: 本发明公开了一种针对层次化模型训练框架的聚合频率控制方法，包括以下步骤：确定层次化模型训练聚合拓扑；定义在层次化模型训练框架下，采用弱同步的通信方式进行模型训练和聚合的过程；基于层次化模型训练聚合拓扑，对每个边缘节点进行资源建模；根据每个边缘节点的计算资源和通信资源，使用启发式的算法输出每个边缘节点的聚合频率，使得同一层的边缘节点具有不同的聚合频率，达到资源利用率的最大化；为了解决边缘节点聚合频率相差太大所带来的精度损失，使用自适应的方法，在模型训练的过程中动态地调整节点的聚合频率。本发明能够解决异构的边缘环境下，使用强同步的通信方法，造成通信时间长、资源利用率低以及训练效果不佳的问题。