公开(公告)号：CN118171701A

公开(公告)日：2024-06-11

申请号：CN202410292325.5

申请日：2024-03-14

Applicant: 安徽大学

Inventor： 苏延旭 ,  盛清杨 ,  谭春雨 ,  孙长银

IPC: G06N3/049 ,  G06N3/082

Abstract: 本发明公开了一种可用于时变网络的分布式自适应梯度方法，包括：初始化参数；数据预处理，将数据分布到所有节点上；在每个节点中计算t时刻的随机梯度，并更新一阶矩估计、更新二阶矩估计；修正二阶矩估计偏差；计算更新梯度第二矩估计值；获取时变权重矩阵；在时变网络中，邻域节点交换参数信息，基于时变权重矩阵计算邻域模型的平均值；基于邻域模型的平均值，执行动量自适应，更新新的估计解。本发明突破了网络结构的限制，有利于更好地利用该算法解决实际问题，相较于固定网络更具稳定性，在理论上确保了算法能够有效求解在线随机凸和非凸的优化问题，在解决实际时变网络问题时，具有更好的收敛性。

公开(公告)号：CN119006913A

公开(公告)日：2024-11-22

申请号：CN202411116682.2

申请日：2024-08-15

Applicant: 安徽大学

Inventor： 苏延旭 ,  盛清杨 ,  王雪娆 ,  孙长银

IPC: G06V10/764 ,  G06V10/774 ,  G06N20/00

Abstract: 本发明公开了一种用于快速图像分类问题的分布式模型训练算法，包括：图像数据的准备与分布；模型初始化；分布式模型训练；模型评估和性能优化。所训练的分布式模型是一种基于Nesterov加速的自适应矩估计算法，即NGTAdam算法，包括：初始化参数；计算梯度，并基于梯度跟踪法更新梯度估计器；更新一阶矩估计向量，更新二阶矩估计向量；自适应更新学习率；更新临时变量和Nesterov动量变量；基于梯度下降法更新估计解。此外，本发明还公开了NGTAdam算法的理论收敛上界保证算法收敛。本发明提出的方法注重实时决策和动态优化，能够高效求解大规模在线优化问题，适用多种场景，解决了现有图像分类算法在训练大规模图像数据时速度慢、准确性不佳等问题。