-
公开(公告)号:CN114611657A
公开(公告)日:2022-06-10
申请号:CN202111216473.1
申请日:2021-10-19
Applicant: 富士通株式会社
Inventor: 三轮真弘
Abstract: 本发明公开了算术处理设备、算术处理方法和非暂态计算机可读存储介质。算术处理设备包括:算术单元;以及一个或更多个处理器,所述一个或更多个处理器被配置成:通过将多个进程分配给算术单元来由算术单元并行地执行对深度神经网络的训练;在针对深度神经网络的多个变量中的各个变量的多个进程之间,对通过多个进程中的每一个进程进行的训练而获得的并且被分别使用用于更新多个变量的多个变量更新信息进行聚合;以及基于作为在多个进程之间所聚合的变量更新信息的第一变量更新信息和作为在聚合期间的变量更新信息的第二变量更新信息,确定由少于多个进程的进程的数量的一定数量的进程进行的训练是否是优越的。
-
公开(公告)号:CN115345314A
公开(公告)日:2022-11-15
申请号:CN202210253096.7
申请日:2022-03-15
Applicant: 富士通株式会社
Inventor: 三轮真弘
IPC: G06N20/00
Abstract: 公开了一种存储机器学习程序的非暂态计算机可读存储介质、机器学习方法和信息处理设备。该机器学习程序使计算机执行进程,该进程包括:在机器学习的分布式训练中,多个计算节点中的第一计算节点的性能劣化的情况下,在第一计算节点的进程的比率等于或小于阈值的情况下,使多个计算节点中除第一计算节点以外的每个第二计算节点在第一模式下执行机器学习,在该第一模式中,第一计算节点的进程的学习结果不被反映在机器学习上;以及在该比率大于阈值的情况下,使每个第二计算节点在第二模式下执行机器学习,在该第二模式中,将要由第一计算节点的进程处理的训练数据分发给第二计算节点并且由第二计算节点处理。
-
-