公开(公告)号：CN113822434B

公开(公告)日：2025-05-13

申请号：CN202010561319.7

申请日：2020-06-18

Applicant: 微软技术许可有限责任公司

Inventor： 寿林钧 ,  林武桃 ,  公明 ,  姜大昕

IPC: G06N3/096 ,  G06F18/214

Abstract: 本公开提供了用于基于知识蒸馏来获得目标模型的方法和装置。可以获得数据集合和一组候选参考模型。可以针对所述数据集合中的每个训练样本，确定从所述一组候选参考模型中选择出的一组选定参考模型。可以获取所述一组选定参考模型针对所述训练样本输出的一组目标概率分布。可以利用所述一组目标概率分布来训练所述目标模型。

公开(公告)号：CN113822434A

公开(公告)日：2021-12-21

申请号：CN202010561319.7

申请日：2020-06-18

Applicant: 微软技术许可有限责任公司

Inventor： 寿林钧 ,  林武桃 ,  公明 ,  姜大昕

IPC: G06N20/00 ,  G06K9/62

Abstract: 本公开提供了用于基于知识蒸馏来获得目标模型的方法和装置。可以获得数据集合和一组候选参考模型。可以针对所述数据集合中的每个训练样本，确定从所述一组候选参考模型中选择出的一组选定参考模型。可以获取所述一组选定参考模型针对所述训练样本输出的一组目标概率分布。可以利用所述一组目标概率分布来训练所述目标模型。

公开(公告)号：CN112257860B

公开(公告)日：2025-03-28

申请号：CN201910588384.6

申请日：2019-07-02

Applicant: 微软技术许可有限责任公司

Inventor： 姜大昕 ,  寿林钧 ,  公明 ,  杨泽 ,  林武桃 ,  程飞翔 ,  白轩宇 ,  王雪云

IPC: G06N3/0495 ,  G06N3/045 ,  G06N3/088 ,  G06N3/096 ,  G06F16/3329 ,  G06N3/0442 ,  G06N3/048 ,  G06N5/04 ,  G06N20/20

Abstract: 本公开提供了一种用于模型生成的方法和装置。可以通过多个预训练模型对预训练数据集合进行评分，所述多个预训练模型执行第一任务。可以利用经评分的预训练数据集合来预训练初始模型。可以基于多个参考模型来更新所述初始模型，以获得目标模型，所述多个参考模型执行第二任务。可以通过所述多个参考模型对参考数据集合进行评分。可以利用经评分的参考数据集合来训练所述目标模型。

公开(公告)号：CN112257860A

公开(公告)日：2021-01-22

申请号：CN201910588384.6

申请日：2019-07-02

Applicant: 微软技术许可有限责任公司

Inventor： 姜大昕 ,  寿林钧 ,  公明 ,  杨泽 ,  林武桃 ,  程飞翔 ,  白轩宇 ,  王雪云

IPC: G06N3/08 ,  G06F16/332 ,  G06F16/35 ,  G06F40/295 ,  G06F40/20

Abstract: 本公开提供了一种用于模型生成的方法和装置。可以通过多个预训练模型对预训练数据集合进行评分，所述多个预训练模型执行第一任务。可以利用经评分的预训练数据集合来预训练初始模型。可以基于多个参考模型来更新所述初始模型，以获得目标模型，所述多个参考模型执行第二任务。可以通过所述多个参考模型对参考数据集合进行评分。可以利用经评分的参考数据集合来训练所述目标模型。