公开(公告)号：CN116635874B

公开(公告)日：2025-04-04

申请号：CN202080107781.8

申请日：2020-12-25

Applicant: 微软技术许可有限责任公司

Inventor： 焦健 ,  宫叶云 ,  段楠 ,  陈伟柱 ,  唐可文 ,  娄强 ,  张若非 ,  晏宇 ,  陈久生

IPC: G06F40/30 ,  G06N20/00

Abstract: 提供了用于基于训练数据训练数据模型的系统和方法。该训练包括基于自回归(AR)模型和非自回归(NAR)模型的组合预训练和微调数据模型。训练数据可以被并被编码为词元流。解码期间的预训练器生成AR和NAR组合的模型的连续数据结构的连续统一体，AR和NAR组合的模型包括主流和一系列预测流。预测流中的掩码词元参考或注意主流或先前预测流中的一个或多个先前词元。微调器根据目标数据模型选择流来生成经训练的模型。目标数据模型基于平衡用于预测词元的准确性约束和效率约束被确定。解码器在生成经训练的数据模型中充当AR和NAR模型之间的桥梁。

公开(公告)号：CN119604845A

公开(公告)日：2025-03-11

申请号：CN202380055424.5

申请日：2023-07-20

Applicant: 微软技术许可有限责任公司

Inventor： 晏宇 ,  T·L·哈里斯

IPC: G06F9/30 ,  G06N3/02

Abstract: 具体格式转换的多级8位浮点(FP8)矩阵乘法的示例解决方案，有利于通过处理器的矩阵乘法运算的计算效率，包括：将FP8格式的数据值从全局存储器复制到共享存储器；将FP8数据值的线程块瓦片从共享存储器加载到寄存器集合中；将寄存器集合中的多个FP8数据值中的每个转换为16位浮点(FP16)数据值；将FP16数据值提交给张量核；并且利用张量核执行矩阵乘法累加计算。

公开(公告)号：CN116249971A

公开(公告)日：2023-06-09

申请号：CN202180066360.X

申请日：2021-05-28

Applicant: 微软技术许可有限责任公司

Inventor： 晏宇 ,  陈久生 ,  张若非

IPC: G06F12/0813 ,  G06F12/0895 ,  G06F40/44 ,  G06F40/56 ,  G06N3/045 ,  G06N3/063 ,  G06N3/08

Abstract: 描述了用于动态修改与自然语言生成器的神经网络模型相关联的高速缓存的系统和方法。在示例中，神经网络模型在对输出进行解码并生成预测输出候选时在解码器处采用集束搜索算法。解码器利用高速缓存技术来提高神经网络操作的速度。当由神经网络模型的一个或多个高速缓存所利用的存储器量被确定为超过阈值存储器大小时，与神经网络模型的层相关联的高速缓存的层特定部分被标识。当由神经网络模型的高速缓存所利用的存储器量超过阈值存储器大小时，可以删除高速缓存的所标识的层特定部分。在示例中，高速缓存中的数据被去重复和/或删除。

公开(公告)号：CN116635874A

公开(公告)日：2023-08-22

申请号：CN202080107781.8

申请日：2020-12-25

Applicant: 微软技术许可有限责任公司

Inventor： 焦健 ,  宫叶云 ,  段楠 ,  陈伟柱 ,  唐可文 ,  娄强 ,  张若非 ,  晏宇 ,  陈久生

IPC: G06N20/00

Abstract: 提供了用于基于训练数据训练数据模型的系统和方法。该训练包括基于自回归(AR)模型和非自回归(NAR)模型的组合预训练和微调数据模型。训练数据可以被并被编码为词元流。解码期间的预训练器生成AR和NAR组合的模型的连续数据结构的连续统一体，AR和NAR组合的模型包括主流和一系列预测流。预测流中的掩码词元参考或注意主流或先前预测流中的一个或多个先前词元。微调器根据目标数据模型选择流来生成经训练的模型。目标数据模型基于平衡用于预测词元的准确性约束和效率约束被确定。解码器在生成经训练的数据模型中充当AR和NAR模型之间的桥梁。