公开(公告)号：CN116249971A

公开(公告)日：2023-06-09

申请号：CN202180066360.X

申请日：2021-05-28

Applicant: 微软技术许可有限责任公司

Inventor： 晏宇 ,  陈久生 ,  张若非

IPC: G06F12/0813 ,  G06F12/0895 ,  G06F40/44 ,  G06F40/56 ,  G06N3/045 ,  G06N3/063 ,  G06N3/08

Abstract: 描述了用于动态修改与自然语言生成器的神经网络模型相关联的高速缓存的系统和方法。在示例中，神经网络模型在对输出进行解码并生成预测输出候选时在解码器处采用集束搜索算法。解码器利用高速缓存技术来提高神经网络操作的速度。当由神经网络模型的一个或多个高速缓存所利用的存储器量被确定为超过阈值存储器大小时，与神经网络模型的层相关联的高速缓存的层特定部分被标识。当由神经网络模型的高速缓存所利用的存储器量超过阈值存储器大小时，可以删除高速缓存的所标识的层特定部分。在示例中，高速缓存中的数据被去重复和/或删除。

公开(公告)号：CN116635874B

公开(公告)日：2025-04-04

申请号：CN202080107781.8

申请日：2020-12-25

Applicant: 微软技术许可有限责任公司

Inventor： 焦健 ,  宫叶云 ,  段楠 ,  陈伟柱 ,  唐可文 ,  娄强 ,  张若非 ,  晏宇 ,  陈久生

IPC: G06F40/30 ,  G06N20/00

Abstract: 提供了用于基于训练数据训练数据模型的系统和方法。该训练包括基于自回归(AR)模型和非自回归(NAR)模型的组合预训练和微调数据模型。训练数据可以被并被编码为词元流。解码期间的预训练器生成AR和NAR组合的模型的连续数据结构的连续统一体，AR和NAR组合的模型包括主流和一系列预测流。预测流中的掩码词元参考或注意主流或先前预测流中的一个或多个先前词元。微调器根据目标数据模型选择流来生成经训练的模型。目标数据模型基于平衡用于预测词元的准确性约束和效率约束被确定。解码器在生成经训练的数据模型中充当AR和NAR模型之间的桥梁。

公开(公告)号：CN116635874A

公开(公告)日：2023-08-22

申请号：CN202080107781.8

申请日：2020-12-25

Applicant: 微软技术许可有限责任公司

Inventor： 焦健 ,  宫叶云 ,  段楠 ,  陈伟柱 ,  唐可文 ,  娄强 ,  张若非 ,  晏宇 ,  陈久生

IPC: G06N20/00

Abstract: 提供了用于基于训练数据训练数据模型的系统和方法。该训练包括基于自回归(AR)模型和非自回归(NAR)模型的组合预训练和微调数据模型。训练数据可以被并被编码为词元流。解码期间的预训练器生成AR和NAR组合的模型的连续数据结构的连续统一体，AR和NAR组合的模型包括主流和一系列预测流。预测流中的掩码词元参考或注意主流或先前预测流中的一个或多个先前词元。微调器根据目标数据模型选择流来生成经训练的模型。目标数据模型基于平衡用于预测词元的准确性约束和效率约束被确定。解码器在生成经训练的数据模型中充当AR和NAR模型之间的桥梁。