Patent search ap:("国际商业机器公司") AND inv:"P·黑德尔博格" Page 1

1.

发明公开
用于高效深度学习的混合数据-模型并行性审中-实审

公开(公告)号：CN114424214A

公开(公告)日：2022-04-29

申请号：CN202080065781.6

申请日：2020-09-29

Applicant: 国际商业机器公司

Inventor： S·温卡塔拉玛尼 , V·斯里尼瓦桑 , P·黑德尔博格

IPC: G06N3/063

Abstract: 公开了混合并行性技术，其中使用数据与模型并行性技术的混合来跨处理器阵列拆分层的工作负载。当配置阵列时，处理器在一个方向上的带宽可大于另一方向上的带宽。每个层根据它们是特征更重还是权重更重来表征。根据该表征，NN层的工作负载可以使用混合并行性技术来分配给阵列，而不是仅使用数据并行性技术或仅使用模型并行性技术。例如，如果NN层相比特征重更加权重重，则在具有较大带宽的方向上使用数据并行性(以最小化权重减小的负面影响)，而在具有较小带宽的方向上使用模型并行性。

Patent Agency Ranking