公开(公告)号：CN111382271B

公开(公告)日：2023-05-23

申请号：CN202010156375.2

申请日：2020-03-09

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 刘俊宏 ,  马良庄 ,  张望舒 ,  温祖杰

IPC: G06F16/35 ,  G06N3/0464 ,  G06N3/08

Abstract: 本说明书实施例提供一种文本分类模型的训练方法，此方法包括：首先，获取N个原始文本和对应的N个文本类别标签，其中N为大于1的正整数；接着，对N个原始文本进行拼接，得到拼接文本；然后，分别对N个文本类别标签进行独热编码，得到N个类别标签向量；再接着，对N个类别标签向量进行平均处理，得到综合标签向量；再然后，将该拼接文本输入文本分类模型中，得到综合分类结果；再基于该综合分类结果和该综合标签向量，训练所述文本分类模型。此外，本说明书实施例还提供一种文本分类方法，此方法包括：获取待分类的目标文本，并对其复制得到N个目标文本，进行拼接后输入利用上述训练方法得到的文本分类模型中，得到目标文本的文本分类结果。

公开(公告)号：CN111340233B

公开(公告)日：2022-08-09

申请号：CN202010104680.7

申请日：2020-02-20

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 张望舒 ,  温祖杰

IPC: G06N20/00 ,  G06N3/08 ,  G06N7/00

Abstract: 本说明书实施例提供一种机器学习模型的训练方法，该方法包括：基于获取的原始样本集，对执行相同任务的多个预测模型进行多轮训练，得到多个训练后模型。其中任一轮训练具体包括：先对原始样本集进行采样，得到若干原始样本，其中包括任意的第一原始样本，此样本中包括第一样本特征和第一样本标签；接着将第一样本特征分别输入多个预测模型中，得到多个第一预测结果；然后至少基于多个第一预测结果和第一样本标签，确定出现频次最高的第一最高频结果；进一步地，在第一最高频结果唯一的情况下，利用该结果对所述第一样本标签进行修正，得到第一修正样本；再接着利用根据所述若干原始样本得到的若干修正样本，分别训练所述多个预测模型。

公开(公告)号：CN110909145B

公开(公告)日：2022-08-09

申请号：CN201911203428.5

申请日：2019-11-29

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 张望舒 ,  温祖杰

IPC: G06F16/332 ,  G06F16/35 ,  G06F16/33

Abstract: 本说明书实施例提供一种针对多任务模型的训练方法，其中多任务模型包括语义编码层，针对搜索交互场景的搜索输出层以及针对问答交互场景的问答输出层，其中训练方法包括：首先，获取搜索交互场景和问答交互场景下采集的多个训练样本；然后，对于其中任意的第一样本，至少将其中的用户输入文本输入语义编码层，得到语义向量，并且，将语义向量分别输入搜索输出层和问答输出层；进一步地，根据第一样本所对应的采集场景，从对应场景的输出层获取预测结果，并结合第一样本中的样本标签，确定所述第一样本对应的预测损失；最后，基于多个训练样本各自对应的预测损失之和，调整所述多任务模型的参数。

公开(公告)号：CN110704599B

公开(公告)日：2022-05-17

申请号：CN201910942807.X

申请日：2019-09-30

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 刘俊宏 ,  张望舒 ,  温祖杰

IPC: G06F16/332 ,  G06F16/33

Abstract: 本说明书实施例提供一种为预测模型生成样本可以使用大量选择数据为预测模型生成训练样本，并且在样本生成过程中，通过使用标准样本训练的初始预测模型作为指引，减少选择数据中的噪声干扰，提高生成的训练样本的有效性。本说明书实施例还提供一种训练预测模型的方法和装置，将以上训练样本用于训练预测模型，大大扩充了样本数量，可以减少人工打标的工作量，还可以增强预测模型的抗噪能力，大大提高预测模型的准确度。

公开(公告)号：CN110990533A

公开(公告)日：2020-04-10

申请号：CN201911203536.2

申请日：2019-11-29

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 张望舒 ,  温祖杰

IPC: G06F16/33

Abstract: 本说明书实施例提供一种确定查询文本所对应标准文本的方法。该方法包括：首先，获取用户输入的查询文本。然后，一方面，将所述查询文本输入基于Bert的第一语义模型中，得到查询语义向量；另一方面，获取若干候选文本，所述若干候选文本是根据所述查询文本检索标准文本库而确定；再获取所述若干候选文本对应的若干候选语义向量，所述若干候选语义向量通过基于Bert的第二语义模型而确定。接着，将查询语义向量分别与若干候选语义向量进行综合处理，得到若干综合向量；再然后，分别将所述若干综合向量输入预先训练的关联度预测模型，得到所述查询文本与所述若干候选文本之间的若干关联度，以用于从所述若干候选文本中确定所述查询文本所对应的标准文本。