公开(公告)号：CN119404194A

公开(公告)日：2025-02-07

申请号：CN202380037288.7

申请日：2023-02-19

Applicant: 微软技术许可有限责任公司

Inventor： M·梅斯马霍斯罗沙希 ,  B·达尔维什·鲁哈尼 ,  E·S·钟 ,  D·C·伯格 ,  M·T·戈卢布

IPC: G06N3/0455 ,  G06N3/082 ,  G06N3/0495 ,  G06N3/0985

Abstract: 本公开的实施例包括用于提供变换器的模型定制以提高效率的系统和方法。接收变换器模型的第一设置集合。基于第一设置集合，确定变换器模型的第二设置集合。使用第一设置集合和第二设置集合来配置和训练变换器模型。使用第一设置集合和第二设置集合来配置和训练变换器模型允许使用减少的计算资源量来训练变换器模型。

公开(公告)号：CN118922841A

公开(公告)日：2024-11-08

申请号：CN202280093114.8

申请日：2022-12-26

Applicant: 微软技术许可有限责任公司

Inventor： M·T·戈卢布 ,  B·达尔维什·鲁哈尼 ,  E·S·钟 ,  D·C·伯格

IPC: G06N3/082 ,  G06N3/0495 ,  G06N3/084

Abstract: 提出了用于训练神经网络的方法。针对具有第一维度上的整数维度M1并且具有第二维度上的整数维度M2的权重矩阵，第一平衡稀疏度掩码被生成，该第一平衡稀疏度掩码是第一维度上的N1/M1掩码。第一平衡稀疏度掩码在推理期间被应用于权重矩阵。第二平衡稀疏度掩码针对权重矩阵的转置来生成。第二平衡稀疏度掩码是第二维度上的N2/M2掩码。第二平衡稀疏度掩码在反向传播期间被应用于权重矩阵的转置。