-
公开(公告)号：CN113822411A
公开(公告)日：2021-12-21
申请号：CN202110356122.4
申请日：2021-04-01
Applicant: 富士通株式会社
Abstract: 本发明涉及学习方法和信息处理设备。存储器保存包括多个层的模型和训练数据，多个层包括它们相应的参数。处理器开始学习处理，学习处理通过使用训练数据来重复地计算模型的输出的误差，针对每个层计算指示关于参数的误差的梯度的误差梯度，并且基于误差梯度更新参数。处理器针对多个层中的第一层计算在学习处理中的第一次迭代中计算的第一误差梯度与在第一次迭代之后的第二次迭代中计算的第二误差梯度之间的差。在差小于阈值的情况下，处理器在第二次迭代之后的第三次迭代中跳过针对第一层的误差梯度的计算和参数的更新。
-
公开(公告)号：CN115796234A
公开(公告)日：2023-03-14
申请号：CN202210793290.4
申请日：2022-07-07
Applicant: 富士通株式会社
IPC: G06N3/0464 , G06N3/063 , G06N3/08
Abstract: 本发明涉及计算机可读记录介质、加速方法和信息处理设备。加速处理的计算机实现的方法，该方法包括：在机器学习模型的机器学习时，以预定间隔针对机器学习模型中包括的每一层来计算关于通过机器学习更新的权重的权重信息的方差；以及基于以预定间隔计算的方差的峰值和以预定间隔计算的权重信息的方差来确定抑制机器学习的抑制目标层。
-
公开(公告)号：CN115860058A
公开(公告)日：2023-03-28
申请号：CN202210644527.2
申请日：2022-06-09
Applicant: 富士通株式会社
IPC: G06N3/0464 , G06N3/08 , G06N20/00 , G06V10/764 , G06V10/82
Abstract: 本发明公开了机器学习程序、机器学习方法以及信息处理设备。一种存储机器学习程序的非暂态计算机可读存储介质，该机器学习程序使至少一个计算机执行处理，该处理包括：在机器学习模型的训练期间，获取在机器学习模型中包括的层中被选择为停止训练的第一层的第一训练速率；基于训练速率设置到停止训练第一层的第一时间段；以及通过控制训练速率来训练第一层，直到第一时间段。
-
Patent Agency Ranking
公开(公告)号：CN114444710A
公开(公告)日：2022-05-06
申请号：CN202111075987.X
申请日：2021-09-14
Applicant: 富士通株式会社
Abstract: 一种存储计算处理程序的非暂态计算机可读记录介质，该计算处理程序用于使计算机执行处理，该处理包括：在机器学习模型的机器学习时计算包括机器学习模型的输入层的机器学习模型的多个层的误差梯度；选择误差梯度小于阈值的层作为机器学习的抑制目标；以及在机器学习被抑制之前的一定时间段内，在被选为抑制目标的层上控制学习率并且执行机器学习。
-
公开(公告)号：CN114444651A
公开(公告)日：2022-05-06
申请号：CN202110901356.2
申请日：2021-08-06
Applicant: 富士通株式会社
Abstract: 本申请涉及计算机可读记录介质、机器学习方法以及信息处理装置。一种计算机实现的方法包括：在机器学习模型的机器学习时计算关于包括在机器学习模型中的多个层的误差梯度，所述多个层包括机器学习模型的输入层；将其中误差梯度小于阈值的层中的位于从输入层的位置到预定位置的范围内的层指定为要抑制的层；以及抑制针对要抑制的层的机器学习。
-
公开(公告)号：CN114930350A
公开(公告)日：2022-08-19
申请号：CN202080092251.0
申请日：2020-01-10
Applicant: 富士通株式会社
Inventor： 檀上匠
IPC: G06N3/08
Abstract: 本发明提高数据并行型分散学习的吞吐量。神经网络系统具有存储器和访问存储器的多个处理器，多个处理器中的每一个处理器在多次学习中的每一次学习中，基于训练数据的输入和神经网络内的参数执行神经网络的运算来计算神经网络的输出，计算计算出的输出与训练数据的教师数据的差分相对于参数的梯度或者基于梯度的更新量，(1)在梯度或者更新量的累积不小于阈值的第一情况下，执行多个处理器将分别计算出的多个梯度或者更新量的累积发送到多个处理器内的其它的处理器来汇集多个梯度或者更新量的累积，接收汇集后的梯度或者更新量的累积，用汇集后的梯度或者更新量的累积更新参数的第一更新处理，(2)在梯度或者更新量的累积小于阈值的第二情况下，执行多个处理器不进行基于发送的多个梯度或者更新量的累积的汇集，用多个处理器分别计算出的梯度或者更新量更新各自的参数的第二更新处理。
-
公开(公告)号：CN113496289A
公开(公告)日：2021-10-12
申请号：CN202110189073.X
申请日：2021-02-19
Applicant: 富士通株式会社
Inventor： 檀上匠
Abstract: 提供了学习程序、学习方法和学习设备。一种由计算机执行的学习程序，该学习程序包括：在针对具有多个层的模型重复执行的学习处理中，每k次学习处理，仅执行一次针对多个层中的至少一个更新抑制层的参数的值的更新处理，其中k为2或更大的整数；以及当执行针对更新抑制层的参数的值的更新处理时，使用在之前k次学习处理中计算出的参数的第二值和在之前2k次学习处理中计算出的参数的第三值，通过应用了动量法的梯度下降法来计算更新之后的参数的第一值。
-
公开(公告)号：CN111984399A
公开(公告)日：2020-11-24
申请号：CN202010411977.8
申请日：2020-05-15
Applicant: 富士通株式会社
Inventor： 檀上匠
IPC: G06F9/50
Abstract: 本发明涉及运算处理设备及其控制方法以及用于存储程序的存储介质。一种运算处理设备，包括：能够彼此通信的多个节点(N个节点)，多个节点中的每个节点包括存储器和处理器，存储器被配置成存储值和操作结果，处理器被配置成当N为2或大于2的自然数、n为1或大于1的自然数并且N≠2n时执行第一处理，其中，第一处理被配置成：将由第一节点保存的值除以2，第一节点是多个节点中的任意节点和按照计数顺序的最后一个节点，通过将多个节点中除第一节点以外的剩余节点进行配对来获得一个或更多个节点对，以及重复地计算由一个或更多个节点对中的每个节点对保存的值的平均值。
-
-
-
-
-
-
-
Search Results
8
records
(took 0.018 seconds)
