公开(公告)号：CN116097281A

公开(公告)日：2023-05-09

申请号：CN202180051137.8

申请日：2021-05-13

Applicant: 微软技术许可有限责任公司

Inventor： 胡景峰 ,  杨格 ,  刘晓东 ,  高剑峰

IPC: G06N3/0985 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/0499

Abstract: 提供了涉及调整与小神经网络模型相关联的超参数并将该超参数传递给大神经网络模型的系统和方法。至少一个神经网络模型可与针对一个或多个经调整的超参数的请求一起被接收。在缩放大神经网络之前，大神经网络根据参数化方案被参数化。然后大神经网络被缩放并且其尺寸被减小，使得超参数调整过程可被执行。然后经调整的超参数可被提供给请求方，使得该超参数可以直接输入到大神经网络中。通过使用小神经网络调整超参数，可以节省大量的计算周期和能量。

公开(公告)号：CN119790395A

公开(公告)日：2025-04-08

申请号：CN202380061557.3

申请日：2023-09-08

Applicant: 微软技术许可有限责任公司

Inventor： 程浩 ,  方昊 ,  刘晓东 ,  高剑峰

IPC: G06F40/30 ,  G06F16/9032 ,  G06N3/02 ,  G06F40/216 ,  G06F40/289

Abstract: 计算系统包括逻辑子系统和存储子系统，该存储子系统保存指令，该指令由逻辑子系统可执行以实现基于转换器的文本编码器。基于转换器的文本编码器包括多个转换器块，该多个转换器块先前被训练为将编码操作应用于输入文本字符串的计算机可读文本表示，该计算机可读文本表示包括输入文本问题的计算机可读问题表示和输入文本段落的计算机可读段落表示。多个转换器块包括共享转换器块，该共享转换器块针对计算机可读问题表示和计算机可读段落表示两者被训练，以及专用转换器块，该专用转换器块包括两个或更多个输入特定子网络，以及路由功能，该路由功能用于为每个计算机可读文本表示选择两个或更多个输入特定子网络中的输入特定子网络。

公开(公告)号：CN114641779A

公开(公告)日：2022-06-17

申请号：CN202080077349.9

申请日：2020-10-19

Applicant: 微软技术许可有限责任公司

Inventor： 刘晓东 ,  高剑峰 ,  贺鹏程 ,  陈伟柱

IPC: G06N3/04 ,  G06N3/08

Abstract: 本文档涉及诸如神经网络之类的机器学习模型的训练。一种示例方法包括提供具有一个或多个层以及相关联的参数的机器学习模型，以及对机器学习模型的参数执行预训练阶段以获得经预训练的参数。该示例方法还包括通过使用经标注的训练样本对机器学习模型执行调节阶段，以调节经预训练的参数。调节阶段可以包括执行对经标注的训练示例的噪声调整，以获得经噪声调整的训练样本。调节阶段还可以包括至少基于经标注的训练示例和经噪声调整的训练示例来调整经预训练的参数，以获得经适配的参数。该示例方法还可以包括输出具有经适配的参数的经调节的机器学习模型。

公开(公告)号：CN119790396A

公开(公告)日：2025-04-08

申请号：CN202380063266.8

申请日：2023-09-08

Applicant: 微软技术许可有限责任公司

Inventor： 程浩 ,  刘晓东 ,  高剑峰 ,  马恺昕

IPC: G06F40/30 ,  G06F16/00 ,  G06N3/045 ,  G06F40/216 ,  G06F40/284 ,  G06F40/295

Abstract: 一种用于计算机问题回答的方法，包括：在问题回答计算机系统的检索器子系统处，标识针对输入文本问题的多个相关文本证据字符串。在问题回答计算机系统的链接器子系统处，经由先前训练的实体链接机器学习模型，多个相关文本证据字符串中的一个或多个相关文本证据字符串与相应的次级文本证据字符串被相关联以形成多个证据链。在问题回答计算机系统的成链器子系统处，经排名的一组证据链至少部分地基于应用于多个证据链中的每个证据链的生成式机器学习模型的输出被标识。在问题回答计算机系统的读取器子系统处，对输入文本问题的回答至少部分地基于经排名的一组证据链被输出。

公开(公告)号：CN115485696A

公开(公告)日：2022-12-16

申请号：CN202180028886.9

申请日：2021-02-19

Applicant: 微软技术许可有限责任公司

Inventor： 刘晓东 ,  程浩 ,  王宇 ,  高剑峰 ,  陈伟柱 ,  贺鹏程 ,  潘海峰

IPC: G06N3/04 ,  G06N3/08

Abstract: 本文档涉及机器学习模型的训练。一种示例方法涉及提供具有一个或多个映射层的机器学习模型。一个或多个映射层可以至少包括第一映射层，第一映射层被配置为将预训练示例的分量映射到空间中的第一表示。该示例方法还包括使用预训练示例在一个或多个映射层上执行预训练阶段。预训练阶段可以包括将噪声添加到预训练示例的分量的第一表示以获得经噪声调整的第一表示。预训练阶段还可以包括执行自监督学习过程以至少使用训练数据项的第一表示和训练数据项的经噪声调整的第一表示来预训练一个或多个映射层。