公开(公告)号：CN117195871A

公开(公告)日：2023-12-08

申请号：CN202311008555.6

申请日：2023-08-10

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 张蝶 ,  周书恒 ,  祝慧佳

IPC: G06F40/279 ,  G06N20/00

Abstract: 本说明书公开了一种模型训练的方法、装置、存储介质和电子设备，获取样本文本，并确定所述样本文本中的每个字符的标注实体类别，针对每个标注实体类别，获得该标注实体类别对应的代表字符集，所述代表字符集中包含至少两个代表字符，获取预训练的语言模型，将所述样本文本输入所述语言模型，确定所述语言模型针对每个字符识别出的代表字符，针对所述样本文本中的每个字符，判断所述语言模型针对该字符识别出的代表字符是否位于该字符的标注实体类别对应的代表字符集中，若否，则对所述语言模型进行微调训练。本方法通过语言模型识别文本中字符的实体类别，并利用多个代表字符代表一个实体类别，提高语言模型输出文本中字符的实体类别的准确性。

公开(公告)号：CN116757208A

公开(公告)日：2023-09-15

申请号：CN202310466681.X

申请日：2023-04-26

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 马志远 ,  张蝶 ,  周书恒 ,  都金涛 ,  周欣欣 ,  杨淑娟 ,  祝慧佳

IPC: G06F40/295 ,  G06F40/279 ,  G06F16/35 ,  G06F18/214 ,  G06F18/2415 ,  G06F40/30 ,  G06N3/04 ,  G06N3/08

Abstract: 本说明书实施例提供了多种数据处理方法、装置及设备，其中一种方法包括：获取用于训练第一模型的文本数据样本及文本数据样本包含的词对应的实体类型标签，基于第一损失函数、文本数据样本及文本数据样本包含的词对应的实体类型标签，对第一模型进行迭代训练，并在第一模型满足预设收敛条件的情况下，基于由初步训练的第一模型对文本数据样本进行实体识别处理得到的文本数据样本包含的词对应不同的预测实体类型的概率分布，确定的初步训练的第一模型对应的预测熵，对第一损失函数中的参数进行更新处理，并基于更新后的第一损失函数对初步训练的第一模型进行迭代训练，直到第一模型收敛，得到训练后的第一模型。

公开(公告)号：CN116522939A

公开(公告)日：2023-08-01

申请号：CN202310466522.X

申请日：2023-04-26

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 马志远 ,  张蝶 ,  周书恒 ,  都金涛 ,  周欣欣 ,  杨淑娟 ,  祝慧佳

IPC: G06F40/295 ,  G06F16/35 ,  G06F40/30 ,  G06F18/214 ,  G06F18/24

Abstract: 本说明书实施例提供了多种数据处理方法、装置及设备，其中一种方法包括：通过目标模型对文本数据样本进行实体识别处理，得到文本数据样本包含的词对应的预测实体类型，基于词对应的预测实体类型和实体类型标签，将文本数据样本包含的词划分为第一样本和包含噪声的第二样本，并基于第一样本对应的预测实体类型和实体类型标签，确定第一损失值，对增强处理得到的第二样本进行语义提取处理，得到第二样本对应的语义向量，基于由第二样本对应的语义向量构建的正样本对和负样本对，确定第二损失值，基于第一损失值和第二损失值，确定目标模型对应的目标损失值，并基于目标损失值对目标模型进行迭代训练，直至目标模型收敛，得到训练后的目标模型。

公开(公告)号：CN117711403A

公开(公告)日：2024-03-15

申请号：CN202311743634.1

申请日：2023-12-18

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 张蝶 ,  周书恒 ,  祝慧佳

IPC: G10L15/26 ,  G10L15/06 ,  G10L15/16 ,  G10L15/18 ,  G10L13/08 ,  G06F16/33

Abstract: 本说明书公开了一种文本纠错模型训练方法、装置、存储介质及电子设备。将预先采集的语音样本输入到语音识别模型，得到所述语音识别模型输出的转译文本，判断所述转译文本中是否包含预先确定的易错词汇，若包含，则确定所述转译文本中包含的易错词汇对应的扩展词汇，根据所述扩展词汇，对所述转译文本进行扩展，得到增强样本，将所述增强样本作为样本，所述转译文本作为标注，对文本纠错模型进行训练。通过这种方法，能快速构造出了大量的增强样本，并确定所述增强样本对应的标注，对所述文本纠错模型进行训练，提升所述文本纠错模型的纠错性能。

公开(公告)号：CN117591622A

公开(公告)日：2024-02-23

申请号：CN202311561050.2

申请日：2023-11-21

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 张蝶 ,  周书恒 ,  祝慧佳

IPC: G06F16/31 ,  G06N20/00 ,  G06F40/20

Abstract: 本说明书公开了一种模型训练和业务执行方法、装置、存储介质及设备。该模型训练方法包括：获取目标业务领域下的业务数据，作为第一样本数据，以及获取目标业务领域下的各实体类型对应的第一实体描述信息；将第一样本数据以及第一实体描述信息输入目标阅读理解模型，根据第一实体描述信息确定第一样本数据中包含的各实体，并将确定出的各实体作为第一样本数据对应的伪标签；将第一样本数据输入待训练的实体抽取模型，确定第一样本数据中包含的各实体，作为第一样本数据对应的预测实体；以最小化第一样本数据对应的预测实体与伪标签之间的偏差为优化目标，对实体抽取模型进行训练，得到目标实体抽取模型。