公开(公告)号：CN114330751A

公开(公告)日：2022-04-12

申请号：CN202111669027.6

申请日：2021-12-31

Applicant: 国家超级计算无锡中心

Inventor： 郑天宇 ,  刘鑫 ,  陈德训 ,  叶跃进 ,  刘沙 ,  彭超 ,  陈龙得 ,  王乐

IPC: G06N20/00 ,  G06F16/901

Abstract: 本发明提供的一种数据并行中优化dropout的方法，包括：在并行训练时，人工设定存储桶的大小，根据存储桶的大小以及每条数据所占空间大小计算每个存储桶存放的数据量；在定义模型时输入dropout跳过的数据比例；前向计算前，确定该数据是否需要跳过，若该数据需要跳过，则生成索引；根据该索引获取每个存储桶中需要跳过的数据量，并依据需要跳过的数据量计算出每个存储桶中需要跳过的数据量占比；若存储桶中需要跳过的数据量大于dropout跳过的数据量比例时，对该存储桶内的所有数据进行标记；在实际计算时，跳过被标记的数据。本发明通过直接跳过被标记的数据，直接减少了传递的数据量，进而减少通信时间，实现加速效果，同时能够保留Dropout减少过拟合的优点。