公开(公告)号：CN115577261A

公开(公告)日：2023-01-06

申请号：CN202211190886.1

申请日：2022-09-28

Applicant: 度小满科技(北京)有限公司

Inventor： 王子扬 ,  杨青

IPC: G06F18/214 ,  G06F18/25 ,  G06N3/048

Abstract: 本发明公开了一种特征引入方法、系统、电子设备及存储介质。其中，特征引入方法包括：确定预训练模型的下游任务，其中，下游任务为预训练模型所要完成的实际任务；获取下游任务匹配的第一特征，其中，第一特征用于对预训练模型进行调整，以使预训练模型能够完成下游任务；在预训练模型的编码层之间设置特征融合层，其中，预训练模型包括多个编码层；利用特征融合层将第一特征和第二特征融合得到目标特征，其中，第二特征为特征融合层相邻的前一个编码层输出的特征。本发明解决了根据下游任务对预训练模型进行微调时，由于特征输入变化，模型需要做出巨大的调整来适应特征输入的变化，进而导致模型的性能不符合预期的问题的技术问题。

公开(公告)号：CN117556303A

公开(公告)日：2024-02-13

申请号：CN202311577843.3

申请日：2023-11-23

Applicant: 度小满科技(北京)有限公司

Inventor： 王子扬 ,  吕喆朋 ,  杨青

IPC: G06F18/24 ,  G06F18/214 ,  G06N3/09 ,  G06Q40/03

Abstract: 本发明提供一种分类模型训练方法、逾期风险预测方法及装置，该分类模型训练方法包括基于预设训练数据集对多个预设模型进行训练，得到多个候选分类模型；基于多个候选分类模型，对待训练的分类模型进行训练，得到目标分类模型；待训练的分类模型中包括多个分类层，至少两个分类层为基于不同候选分类模型训练得到。应用本发明实施例，通过基于多个预先训练的候选分类模型对待训练的分类模型中的各个分类层进行训练，得到目标分类模型，使得目标分类模型具有多个候选分类模型的性能，从而提高目标分类模型的泛化性以及分类准确性，同时，与现有的集成模型相比，在使用目标分类模型时无需使用多个模型进行并行推断，节省模型使用成本以及推断时间。

公开(公告)号：CN120069121A

公开(公告)日：2025-05-30

申请号：CN202411967383.X

申请日：2024-12-30

Applicant: 度小满科技(北京)有限公司

Inventor： 王子扬 ,  胡连学 ,  杨青

IPC: G06N20/00

Abstract: 本发明提供一种模型训练方法、装置、存储介质及电子设备，该方法包括：获取第一模型，以及获取训练数据集；调用第一模型，分别确定训练数据集中每个训练数据的模型运行结果；并基于每个训练数据的模型运行结果，计算各个模型参数在当前迭代下的一阶梯度；确定各个模型参数在上一次迭代下的一阶梯度，并基于各个模型参数在上一次迭代下的一阶梯度和各个模型参数在当前迭代下的一阶梯度，分别计算各个模型参数在当前迭代下的二阶梯度；基于各个模型参数在当前迭代下的一阶梯度和二阶梯度，分别计算各个模型参数在当前迭代下的模型参数值，以得到第二模型，从而基于第二模型，确定目标模型。本发明实施例可提高模型训练的效率。