公开(公告)号：CN110084378B

公开(公告)日：2023-04-21

申请号：CN201910375050.0

申请日：2019-05-07

Applicant: 南京大学

Inventor： 李武军 ,  高昊 ,  赵申宜

IPC: G06N20/00

Abstract: 本发明公开了一种基于本地学习策略的分布式机器学习方法，基于参数服务器架构，既适用于数据中心的多机集群分布式机器学习，也适用于服务器作为云端、手机或嵌入式设备作为终端的端云协同分布式机器学习。包括以下步骤：首先服务器节点累计所有工作节点计算的本地梯度和得到全梯度，并将全梯度广播给所有工作节点；随后每个工作节点各自进行若干次参数更新后将本地的参数发送给服务器节点；最后服务器节点将从工作节点收集到的参数求均值作为最新参数广播给所有工作节点；上述过程迭代多轮直到达到收敛条件。本发明的方法基于本地学习策略，不需要在工作节点每次参数更新后都进行通信，从而减少了分布式机器学习中的通信开销。

公开(公告)号：CN110084378A

公开(公告)日：2019-08-02

申请号：CN201910375050.0

申请日：2019-05-07

Applicant: 南京大学

Inventor： 李武军 ,  高昊 ,  赵申宜

IPC: G06N20/00

Abstract: 本发明公开了一种基于本地学习策略的分布式机器学习方法，基于参数服务器架构，既适用于数据中心的多机集群分布式机器学习，也适用于服务器作为云端、手机或嵌入式设备作为终端的端云协同分布式机器学习。包括以下步骤：首先服务器节点累计所有工作节点计算的本地梯度和得到全梯度，并将全梯度广播给所有工作节点；随后每个工作节点各自进行若干次参数更新后将本地的参数发送给服务器节点；最后服务器节点将从工作节点收集到的参数求均值作为最新参数广播给所有工作节点；上述过程迭代多轮直到达到收敛条件。本发明的方法基于本地学习策略，不需要在工作节点每次参数更新后都进行通信，从而减少了分布式机器学习中的通信开销。

公开(公告)号：CN110287031A

公开(公告)日：2019-09-27

申请号：CN201910583390.2

申请日：2019-07-01

Applicant: 南京大学

Inventor： 李武军 ,  解银朋 ,  赵申宜 ,  高昊

IPC: G06F9/50 ,  G06N20/00

Abstract: 本发明公开了一种减少分布式机器学习通信开销的方法，基于参数服务器架构，既适用于数据中心的多机集群分布式机器学习，也适用于服务器作为云端、手机或嵌入式设备作为终端的端云协同分布式机器学习。包括以下步骤：首先所有工作节点计算梯度，并结合两轮参数差求出全局动量，将全局动量与上一轮记忆梯度求和得到新一轮记忆梯度，对其取部分发给服务器节点，剩下部分进行累积；随后服务器节点累积所有稀疏的记忆梯度和，以此更新参数并将两轮的参数差广播给所有工作节点；最后工作节点接收两轮参数差，并更新参数。本发明的方法基于全局梯度压缩，工作节点与服务器节点间通信时只传递全局动量的一部分，从而减小了分布式机器学习中的通信开销。

公开(公告)号：CN110110860A

公开(公告)日：2019-08-09

申请号：CN201910371632.1

申请日：2019-05-06

Applicant: 南京大学

Inventor： 李武军 ,  高昊 ,  赵申宜

IPC: G06N20/00

Abstract: 本发明公开了一种用于加速机器学习训练的自适应数据采样方法，根据每个样本数据上损失函数的利普希茨常数从样本集合中选取一个子集。接下来的若干轮迭代中，将使用这个样本集合的子集代替完整的训练样本集合进行训练，直至下一次的样本数据选择。本发明的方法能在使用部分样本进行训练的情况下不损失最终结果的准确性，所以达到了加速机器学习训练过程的效果。

公开(公告)号：CN110287031B

公开(公告)日：2023-05-09

申请号：CN201910583390.2

申请日：2019-07-01

Applicant: 南京大学

Inventor： 李武军 ,  解银朋 ,  赵申宜 ,  高昊

IPC: G06F9/50 ,  G06N20/00

Abstract: 本发明公开了一种减少分布式机器学习通信开销的方法，基于参数服务器架构，既适用于数据中心的多机集群分布式机器学习，也适用于服务器作为云端、手机或嵌入式设备作为终端的端云协同分布式机器学习。包括以下步骤：首先所有工作节点计算梯度，并结合两轮参数差求出全局动量，将全局动量与上一轮记忆梯度求和得到新一轮记忆梯度，对其取部分发给服务器节点，剩下部分进行累积；随后服务器节点累积所有稀疏的记忆梯度和，以此更新参数并将两轮的参数差广播给所有工作节点；最后工作节点接收两轮参数差，并更新参数。本发明的方法基于全局梯度压缩，工作节点与服务器节点间通信时只传递全局动量的一部分，从而减小了分布式机器学习中的通信开销。

公开(公告)号：CN110110860B

公开(公告)日：2023-07-25

申请号：CN201910371632.1

申请日：2019-05-06

Applicant: 南京大学

Inventor： 李武军 ,  高昊 ,  赵申宜

IPC: G06N20/00

Abstract: 本发明公开了一种用于加速机器学习训练的自适应数据采样方法，根据每个样本数据上损失函数的利普希茨常数从样本集合中选取一个子集。接下来的若干轮迭代中，将使用这个样本集合的子集代替完整的训练样本集合进行训练，直至下一次的样本数据选择。本发明的方法能在使用部分样本进行训练的情况下不损失最终结果的准确性，所以达到了加速机器学习训练过程的效果。

公开(公告)号：CN111369008A

公开(公告)日：2020-07-03

申请号：CN202010143183.8

申请日：2020-03-04

Applicant: 南京大学

Inventor： 李武军 ,  赵申宜 ,  解银朋

IPC: G06N20/00 ,  G06K9/62

Abstract: 本发明公开了一种阶段性增大批量的机器学习方法：首先将训练过程分成数个阶段，每个阶段增大批量大小到上一阶段批量大小的一定倍数。每个阶段运行的算法如下：初始化参数，计算参数更新次数，然后进行循环；每次循环从所有数据中随机选取该阶段对应的批量大小的数据，计算这些数据对应的梯度，然后解优化问题更新参数；最后从该阶段中所有循环的更新后的参数中选取一个作为下一个阶段的初始化参数。本发明基于阶段性训练框架，每个阶段增大批量大小，大的批量可以减少参数更新次数，并且可以更充分地利用GPU等计算资源，提升单机机器学习效率。也可以用来减少多机分布式机器学习中的通信次数和参数更新次数，提升分布式机器学习的效率。