-
公开(公告)号：CN111369009A
公开(公告)日：2020-07-03
申请号：CN202010143202.7
申请日：2020-03-04
Applicant: 南京大学
Abstract: 本发明公开一种能容忍不可信节点的分布式机器学习方法，各工作节点从服务器节点获取最新的参数，根据本地存储的数据计算梯度后，将梯度发送给服务器节点，重复该步骤，直到收到服务器的中止消息。服务器节点设置有一定数量的缓冲器，每次接收到梯度信息后，根据发送方工作节点的编号，计算出对应的缓冲器编号，并将该缓冲器中的值更新为已收到对应该缓冲器的所有梯度的平均值；然后判断是否所有缓冲器都存有梯度，若是，则通过聚集函数，根据各缓冲器中的梯度计算出最终梯度，更新模型参数，清空所有缓冲器；再将最新参数发送给该工作节点；不断重复以上训练步骤，直到满足停止条件时，通知各个工作节点停止。
-
公开(公告)号：CN118917435A
公开(公告)日：2024-11-08
申请号：CN202411000289.7
申请日：2024-07-24
Applicant: 南京大学
IPC: G06N20/00
Abstract: 本发明公开一种基于有序动量的异步分布式机器学习方法，基于有序动量的思想，将动量引入异步随机梯度下降法。在服务器端将梯度按照其迭代索引的顺序组织成有序动量。这里的有序动量是若干个梯度存储桶的加权和，梯度到达服务器端后，根据其迭代索引放入相应的梯度存储桶中。相比较异步随机梯度下降方法，本方法不引入除了动量项外的额外存储开销，并且可以有效提升算法的收敛性能和模型的泛化性能。相比较现有的带动量的同步分布式机器学习方法，本方法可以大幅度提升训练集群分布式训练的速度，尤其是在训练集群中各工作节点计算能力异构的场景下，本方法的速度优势更加明显。
-
公开(公告)号：CN115329981A
公开(公告)日：2022-11-11
申请号：CN202210955496.2
申请日：2022-08-10
Applicant: 南京大学
Abstract: 本发明公开了一种通信高效、保护隐私且抗攻击的联邦学习方法，步骤如下：每个用户节点从服务器获取最新的模型参数，计算梯度，将梯度中绝对值最大的若干个分量的索引集合上传至服务器节点；服务器接收所有用户节点发送的索引集合，计算所有用户节点索引集合的并集并广播给用户节点；每个用户节点根据服务器广播的索引集合计算压缩梯度，应用安全聚合技术对压缩梯度进行隐私保护，然后上传至服务器节点；服务器节点通过聚合函数，根据各用户节点发送的压缩梯度和索引集合计算出最终梯度并发送给用户节点；重复以上训练步骤，直到满足停止条件；最后，服务器通知各个用户节点停止。本发明具备通信高效性、隐私保护性和对攻击的鲁棒性，广泛适用于各类联邦学习应用。
-
-
Search Results
3
records
(took 0.013 seconds)
