-
公开(公告)号:CN116745776A
公开(公告)日:2023-09-12
申请号:CN202280010765.6
申请日:2022-01-05
Applicant: 微软技术许可有限责任公司
IPC: G06N3/08
Abstract: 本公开的实施例包括一种系统,用于通过基于多个训练参数配置模型以执行训练过程、监测在训练过程的执行时产生的多个统计量、以及基于统计量中的一个或多个统计量来调整训练参数中的一个或多个训练参数以将统计量中的至少一个统计量维持在预定范围内来优化人工神经网络。在一些实施例中,人工智能(AI)处理器可以对模型执行训练过程,该训练过程具有相关联的训练参数集。训练过程的执行可以产生多个统计量。耦合到(多个)AI处理器的(多个)控制处理器可以接收统计量,并且据此调整训练参数中的一个或多个训练参数,以在训练过程的执行期间将统计量中的至少一个统计量维持在预定范围内。
-
公开(公告)号:CN118414621A
公开(公告)日:2024-07-30
申请号:CN202280082752.X
申请日:2022-11-10
Applicant: 微软技术许可有限责任公司
Abstract: 本文总体上讨论了用于标识预定义预算内的最佳超参数值的设备、系统和方法。方法可以包括:在使用超参数向量的值训练模型达一迭代次数的同时,记录目标函数的目标函数值和成本函数的成本函数值;将函数模型拟合到目标函数值,并且将成本模型拟合到成本函数值,从而产生经拟合的函数模型和经拟合的成本模型;选择第二超参数向量;确定要执行的最佳迭代次数,并且在该最佳迭代次数之后停止使用第二超参数向量进行训练;使用第二超参数向量重新训练模型类型的模型达最佳迭代次数;以及提供超参数向量或第二超参数向量的最大化由目标函数定义的目标的超参数值。
-
公开(公告)号:CN112470171B
公开(公告)日:2025-04-18
申请号:CN201980031270.X
申请日:2019-04-27
Applicant: 微软技术许可有限责任公司
IPC: G06N3/0464 , G06N3/084 , G06N5/00 , G06N3/047 , G06N3/044 , G06N3/0499
Abstract: 公开了用于针对机器学习问题选择神经网络的系统和方法。一种方法包括访问输入矩阵。该方法包括访问与机器学习问题相关联的机器学习问题空间和用于解决机器学习问题的多个未经训练的候选神经网络。该方法包括针对每个未经训练的候选神经网络,计算捕获候选神经网络关于机器学习问题的表达性的至少一个表达性度量。该方法包括针对每个未经训练的候选神经网络,计算捕获候选神经网络关于机器学习问题的可训练性的至少一个可训练性度量。该方法包括基于至少一个表达性度量和至少一个可训练性度量选择用于解决机器学习问题的至少一个候选神经网络。
-
公开(公告)号:CN113039562A
公开(公告)日:2021-06-25
申请号:CN201980072085.5
申请日:2019-10-29
Applicant: 微软技术许可有限责任公司
Abstract: 本公开的示例描述了用于概率神经网络架构生成的系统和方法。在示例中,基于各种参数的神经网络架构上的基础分布使用概率建模而被采样。训练数据被评估以便迭代地更新基础分布,从而生成神经网络架构上的概率分布。该分布被迭代地训练,直到与神经网络架构相关联的参数收敛为止。一旦确定参数已经收敛,则得到的概率分布可以被用于生成得到的神经网络架构。结果,中间架构不需要被完全训练,其极大地减少了存储器使用和/或处理时间。此外,在某些实例中,评估更大的架构和/或更大的批处理大小同时还减少了神经网络架构生成时间并保持或改善神经网络准确性是可能的。
-
公开(公告)号:CN112470171A
公开(公告)日:2021-03-09
申请号:CN201980031270.X
申请日:2019-04-27
Applicant: 微软技术许可有限责任公司
Abstract: 公开了用于针对机器学习问题选择神经网络的系统和方法。一种方法包括访问输入矩阵。该方法包括访问与机器学习问题相关联的机器学习问题空间和用于解决机器学习问题的多个未经训练的候选神经网络。该方法包括针对每个未经训练的候选神经网络,计算捕获候选神经网络关于机器学习问题的表达性的至少一个表达性度量。该方法包括针对每个未经训练的候选神经网络,计算捕获候选神经网络关于机器学习问题的可训练性的至少一个可训练性度量。该方法包括基于至少一个表达性度量和至少一个可训练性度量选择用于解决机器学习问题的至少一个候选神经网络。
-
公开(公告)号:CN119998818A
公开(公告)日:2025-05-13
申请号:CN202380070608.9
申请日:2023-09-21
Applicant: 微软技术许可有限责任公司
Inventor: D·阿尔瓦雷斯-梅利斯 , 范娇姣 , N·富西
Abstract: 本文总体上讨论了用于生成合成数据集的设备、系统和方法。一种方法包括:获得第一训练标记数据集;获得第二训练标记数据集;确定从目标标记数据集到第一训练标记数据集的最优传输(OT)映射;确定从目标标记数据集到第二训练标记数据集的OT映射;基于OT映射,在由分布空间中第一训练标记数据集和第二训练标记数据集形成的广义测地线包中,标识分布空间中接近目标标记数据集的点;以及通过基于分布空间中第一训练标记数据集和第二训练标记数据集的概率分布表示与点之间的距离来组合第一训练标记数据集和第二训练标记数据集,产生合成标记ML数据集。
-
公开(公告)号:CN116569188A
公开(公告)日:2023-08-08
申请号:CN202180065409.X
申请日:2021-06-30
Applicant: 微软技术许可有限责任公司
Inventor: D·阿尔瓦雷斯-梅利斯 , N·富西
IPC: G06N20/00
Abstract: 总体上,在此讨论的是通过使数据集朝向目标数据集流动而用于机器学习(ML)的设备、系统和方法。一种方法可以包括:接收对包括第一特征标签配对的第一数据集操作的请求,从多个数据集标识第二数据集,第二数据集包括第二特征标签配对,确定第一特征标签配对和第二特征标签配对之间的距离,以及使用基于所确定的距离操作的数据集目标来使第一数据集流动,以生成经优化的数据集。
-
-
-
-
-
-