公开(公告)号：CN115485696A

公开(公告)日：2022-12-16

申请号：CN202180028886.9

申请日：2021-02-19

Applicant: 微软技术许可有限责任公司

Inventor： 刘晓东 ,  程浩 ,  王宇 ,  高剑峰 ,  陈伟柱 ,  贺鹏程 ,  潘海峰

IPC: G06N3/04 ,  G06N3/08

Abstract: 本文档涉及机器学习模型的训练。一种示例方法涉及提供具有一个或多个映射层的机器学习模型。一个或多个映射层可以至少包括第一映射层，第一映射层被配置为将预训练示例的分量映射到空间中的第一表示。该示例方法还包括使用预训练示例在一个或多个映射层上执行预训练阶段。预训练阶段可以包括将噪声添加到预训练示例的分量的第一表示以获得经噪声调整的第一表示。预训练阶段还可以包括执行自监督学习过程以至少使用训练数据项的第一表示和训练数据项的经噪声调整的第一表示来预训练一个或多个映射层。

公开(公告)号：CN114641779A

公开(公告)日：2022-06-17

申请号：CN202080077349.9

申请日：2020-10-19

Applicant: 微软技术许可有限责任公司

Inventor： 刘晓东 ,  高剑峰 ,  贺鹏程 ,  陈伟柱

IPC: G06N3/04 ,  G06N3/08

Abstract: 本文档涉及诸如神经网络之类的机器学习模型的训练。一种示例方法包括提供具有一个或多个层以及相关联的参数的机器学习模型，以及对机器学习模型的参数执行预训练阶段以获得经预训练的参数。该示例方法还包括通过使用经标注的训练样本对机器学习模型执行调节阶段，以调节经预训练的参数。调节阶段可以包括执行对经标注的训练示例的噪声调整，以获得经噪声调整的训练样本。调节阶段还可以包括至少基于经标注的训练示例和经噪声调整的训练示例来调整经预训练的参数，以获得经适配的参数。该示例方法还可以包括输出具有经适配的参数的经调节的机器学习模型。