公开(公告)号：CN116635874A

公开(公告)日：2023-08-22

申请号：CN202080107781.8

申请日：2020-12-25

Applicant: 微软技术许可有限责任公司

Inventor： 焦健 ,  宫叶云 ,  段楠 ,  陈伟柱 ,  唐可文 ,  娄强 ,  张若非 ,  晏宇 ,  陈久生

IPC: G06N20/00

Abstract: 提供了用于基于训练数据训练数据模型的系统和方法。该训练包括基于自回归(AR)模型和非自回归(NAR)模型的组合预训练和微调数据模型。训练数据可以被并被编码为词元流。解码期间的预训练器生成AR和NAR组合的模型的连续数据结构的连续统一体，AR和NAR组合的模型包括主流和一系列预测流。预测流中的掩码词元参考或注意主流或先前预测流中的一个或多个先前词元。微调器根据目标数据模型选择流来生成经训练的模型。目标数据模型基于平衡用于预测词元的准确性约束和效率约束被确定。解码器在生成经训练的数据模型中充当AR和NAR模型之间的桥梁。

公开(公告)号：CN116635874B

公开(公告)日：2025-04-04

申请号：CN202080107781.8

申请日：2020-12-25

Applicant: 微软技术许可有限责任公司

Inventor： 焦健 ,  宫叶云 ,  段楠 ,  陈伟柱 ,  唐可文 ,  娄强 ,  张若非 ,  晏宇 ,  陈久生

IPC: G06F40/30 ,  G06N20/00

Abstract: 提供了用于基于训练数据训练数据模型的系统和方法。该训练包括基于自回归(AR)模型和非自回归(NAR)模型的组合预训练和微调数据模型。训练数据可以被并被编码为词元流。解码期间的预训练器生成AR和NAR组合的模型的连续数据结构的连续统一体，AR和NAR组合的模型包括主流和一系列预测流。预测流中的掩码词元参考或注意主流或先前预测流中的一个或多个先前词元。微调器根据目标数据模型选择流来生成经训练的模型。目标数据模型基于平衡用于预测词元的准确性约束和效率约束被确定。解码器在生成经训练的数据模型中充当AR和NAR模型之间的桥梁。