公开(公告)号：CN116089058A

公开(公告)日：2023-05-09

申请号：CN202211103853.9

申请日：2022-09-09

Applicant: 三星电子株式会社

Inventor： 金明宇 ,  金容德 ,  奈良库乌·土乌辛贾格尔 ,  金健熙 ,  李承远 ,  崔彰仁

IPC: G06F9/50 ,  G06F18/214

Abstract: 提供了用于数据加载的方法和设备。所述方法包括：基于包括在训练数据集中的多个数据文件的大小将训练数据集划分为多个子集；基于所述多个子集中的每个中的所述多个子集中的数据文件的数量的比例和分布式训练的批量大小，将子集中的数据文件的一部分从子集加载到多个处理器；并且基于加载到所述多个处理器之中的同一组中的处理器的数据文件的大小，将加载的数据文件重新分配给所述同一组中的处理器。

公开(公告)号：CN116795284A

公开(公告)日：2023-09-22

申请号：CN202310288758.9

申请日：2023-03-22

Applicant: 三星电子株式会社

Inventor： 金健熙 ,  李承远

IPC: G06F3/06 ,  G06N3/063 ,  G06N3/048 ,  G06N3/0464 ,  G06N3/08

Abstract: 公开一种存储器的操作方法和电子装置。所述操作方法包括：在接收包括多个层的神经网络的输入数据之后，在生成每个层的激活数据和每个层的激活数据相对于输入数据的差分数据时，将每个层的激活数据相对于输入数据的差分数据存储在存储器中，并且省略将每个层的激活数据存储在存储器中的存储操作；从存储器读取每个层的激活数据相对于输入数据的差分数据；以及将基于从存储器读取的每个层的激活数据相对于输入数据的差分数据而生成的神经网络的输出数据相对于输入数据的差分数据存储在存储器中。

公开(公告)号：CN118333095A

公开(公告)日：2024-07-12

申请号：CN202310919616.8

申请日：2023-07-25

Applicant: 三星电子株式会社

Inventor： 金健熙 ,  赵炫泰

IPC: G06N3/045 ,  G06N3/048 ,  G06N3/084

Abstract: 公开了用于神经网络训练的方法和设备。所述方法可包括：通过第一神经网络的前向传播处理，通过关于提供给第一神经网络的输入数据对第一神经网络的每个层的相应输出进行微分，来生成相应的第一神经网络微分数据，第一神经网络从输入数据估计输出数据；使用第二神经网络，使用相应的第一神经网络微分数据生成输出数据关于输入数据的输出微分值；以及基于输出数据的地面真值数据和输出微分值的地面真值数据，来训练第一神经网络和第二神经网络。

公开(公告)号：CN116227545A

公开(公告)日：2023-06-06

申请号：CN202210854702.0

申请日：2022-07-18

Applicant: 三星电子株式会社

Inventor： 崔彰仁 ,  金健熙 ,  金容德 ,  金明宇 ,  李承远 ,  奈良库乌·土乌辛贾格尔

IPC: G06N3/0464 ,  G06N3/063 ,  G06N3/082 ,  G06F18/214

Abstract: 公开了用于神经网络的分布式训练的训练方法和设备，所述训练设备包括：多个处理器，被配置为：各自接收与多个批中的对应批对应的多个数据，并且基于各自接收的与所述多个批中的对应批对应的数据来并行地执行训练，以各自生成神经网络的各个层的最终局部梯度；以及控制器，被配置为：接收所述多个处理器生成的各个层的最终局部梯度，基于接收的最终局部梯度来确定聚合梯度，并且基于聚合梯度来更新神经网络的参数。

公开(公告)号：CN114254746A

公开(公告)日：2022-03-29

申请号：CN202110266381.8

申请日：2021-03-11

Applicant: 三星电子株式会社

Inventor： 金健熙 ,  李承远

IPC: G06N3/08 ,  G06N3/04

Abstract: 公开一种执行神经网络的方法和设备。一种量化神经网络的参数的方法包括：获取在由神经网络进行推断的处理中使用的浮点格式的参数，基于包括在参数中的权重的统计信息将权重量化为定点格式，基于包括在参数中的配置神经网络的一个或多个层的激活的统计信息确定激活的动态范围，和基于神经网络的输入数据的统计信息将输入数据量化为定点格式。