公开(公告)号：CN116438529A

公开(公告)日：2023-07-14

申请号：CN202080107084.2

申请日：2020-11-12

Applicant: 微软技术许可有限责任公司

Inventor： 宫叶云 ,  段楠 ,  黄亚蒙 ,  张若非 ,  周明 ,  焦健

IPC: G06F16/9032

Abstract: 一种用于生成式常识推理的知识注入模型。在示例中，使用编码器‑解码器模型来生成模型输出(204)，针对概念集的合理描述。从领域内或领域外知识语料库生成原型(218)，该原型进一步被用作针对编码器‑解码器模型的输入(202)。缩放概念输入令牌和原型输入令牌，以限制可能由原型(218)引入的潜在偏差。另外，针对每个输入令牌生成位置指示符，这些位置指示符指示每个输入令牌与其他输入令牌相比的相对位置。如此，在对经缩放的、经编码的输入令牌进行解码时，解码器(214)可以更适应由原型(218)在生成模型输出(204)时引入的场景偏差。因此，在生成模型输出(204)时，编码器‑解码器模型不需要仅仅依赖于概念集。

公开(公告)号：CN116635874B

公开(公告)日：2025-04-04

申请号：CN202080107781.8

申请日：2020-12-25

Applicant: 微软技术许可有限责任公司

Inventor： 焦健 ,  宫叶云 ,  段楠 ,  陈伟柱 ,  唐可文 ,  娄强 ,  张若非 ,  晏宇 ,  陈久生

IPC: G06F40/30 ,  G06N20/00

Abstract: 提供了用于基于训练数据训练数据模型的系统和方法。该训练包括基于自回归(AR)模型和非自回归(NAR)模型的组合预训练和微调数据模型。训练数据可以被并被编码为词元流。解码期间的预训练器生成AR和NAR组合的模型的连续数据结构的连续统一体，AR和NAR组合的模型包括主流和一系列预测流。预测流中的掩码词元参考或注意主流或先前预测流中的一个或多个先前词元。微调器根据目标数据模型选择流来生成经训练的模型。目标数据模型基于平衡用于预测词元的准确性约束和效率约束被确定。解码器在生成经训练的数据模型中充当AR和NAR模型之间的桥梁。

公开(公告)号：CN116490864A

公开(公告)日：2023-07-25

申请号：CN202080106212.1

申请日：2020-10-14

Applicant: 微软技术许可有限责任公司

Inventor： 宫叶云 ,  段楠 ,  张若非 ,  周明 ,  焦健

IPC: G06F16/24

Abstract: 提供了用于从输入查询生成关键字序列的系统和方法。可以接收对应于输入查询的第一文本序列，并且使用机器学习模型的编码器将第一文本序列编码为源序列表示。然后可以使用机器学习模型的解码器从源序列表示生成关键字语句。解码器可以为多个预测令牌生成经修改的生成得分，其中经修改的生成得分基于相应预测令牌生成得分和每个预测令牌的后缀的最大生成得分。解码器然后可以基于经修改的生成得分来选择多个预测令牌中的预测令牌，并且将选择的预测令牌添加到由解码器提供的先前解码的部分假设。

公开(公告)号：CN116635874A

公开(公告)日：2023-08-22

申请号：CN202080107781.8

申请日：2020-12-25

Applicant: 微软技术许可有限责任公司

Inventor： 焦健 ,  宫叶云 ,  段楠 ,  陈伟柱 ,  唐可文 ,  娄强 ,  张若非 ,  晏宇 ,  陈久生

IPC: G06N20/00

Abstract: 提供了用于基于训练数据训练数据模型的系统和方法。该训练包括基于自回归(AR)模型和非自回归(NAR)模型的组合预训练和微调数据模型。训练数据可以被并被编码为词元流。解码期间的预训练器生成AR和NAR组合的模型的连续数据结构的连续统一体，AR和NAR组合的模型包括主流和一系列预测流。预测流中的掩码词元参考或注意主流或先前预测流中的一个或多个先前词元。微调器根据目标数据模型选择流来生成经训练的模型。目标数据模型基于平衡用于预测词元的准确性约束和效率约束被确定。解码器在生成经训练的数据模型中充当AR和NAR模型之间的桥梁。