公开(公告)号：CN118114042A

公开(公告)日：2024-05-31

申请号：CN202410141534.X

申请日：2024-01-31

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 蒋晨之 ,  王宁涛 ,  傅幸 ,  王维强

IPC: G06F18/214 ,  G06F18/213 ,  G06F40/30 ,  G06N20/00 ,  G06Q20/40

Abstract: 本说明书公开了一种模型训练的方法、装置、存储介质和电子设备，所述方法包括：针对确定出的每一个样本交易数据，确定该样本交易数据的属性描述为浅层文本，确定该样本交易数据的风险描述为深层文本。将该样本交易数据输入待训练的风险识别模型，得到该样本交易数据的浅特征和深特征。将浅层文本输入文本识别模型，得到第一特征，将深层文本输入文本识别模型，确定第二特征。根据该样本交易数据的第一特征、该样本交易数据的浅特征、该样本交易数据的第二特征以及该样本交易数据的深特征，对待训练的风险识别模型进行训练。通过第一特征以及第二特征，指导风险识别模型对各样本交易数据进行特征提取，更好地表征用户存在的风险，提高准确性。

公开(公告)号：CN114092097B

公开(公告)日：2024-05-24

申请号：CN202111396497.X

申请日：2021-11-23

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 周璟 ,  傅幸 ,  吕乐 ,  王宁涛 ,  杨阳 ,  范东云 ,  刘佳 ,  王维强 ,  宝鹏庆

IPC: G06Q20/40 ,  G06N3/08

Abstract: 本说明书一个或多个实施例涉及数据处理技术领域，尤其涉及一种风险识别模型的训练方法、交易风险确定方法及装置。该方法包括：获取训练样本，训练样本包括第一交易的意愿标签、风险标签以及多个特征；将多个特征输入风险识别模型进行预测处理，预测处理包括，在特征处理网络，对多个特征进行特征交叉处理，得到表征向量；在第一识别层，基于对表征向量的第一处理结果，确定第一交易的意愿度；在第二识别层，基于对表征向量的第二处理结果，确定第一交易的风险度；在预测损失减小的方向，更新风险识别模型的参数，其中预测损失包括第一损失和第二损失，第一损失基于意愿度和意愿标签确定，第二损失基于风险度和风险标签确定。

公开(公告)号：CN117787443A

公开(公告)日：2024-03-29

申请号：CN202311868400.X

申请日：2023-12-29

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 胡佳豪 ,  王宁涛 ,  杨阳 ,  傅幸

IPC: G06N20/00 ,  G06N5/04 ,  G06F40/186

Abstract: 本说明书公开了一种风控方法、装置、设备及可读存储介质，根据用于描述用户事件中各用户行为的描述文本确定的参考文本序列作为训练样本，对预训练的自然语言模型进行微调，得到行为序列生成模型，根据行为序列生成模型和提示文本，得到目标文本序列，以目标文本序列为对抗样本，对风控模型进行优化，通过优化后的风控模型进行风控。可见，通过上述方案，无需与风控模型反复交互就得到行为序列生成模型生成的对抗样本，低成本、高效地提高了风控模型的鲁棒性和精度，并且，在预训练的自然语言模型的基础上微调得到的行为序列生成模型，能够适用于以用户行为作为训练样本的多个不同的风控模型，提高了风控模型的优化效率以及隐私数据的安全性。

公开(公告)号：CN117592507A

公开(公告)日：2024-02-23

申请号：CN202311640028.7

申请日：2023-11-30

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 张长浩 ,  申书恒 ,  傅欣艺 ,  傅幸

IPC: G06N3/04 ,  G06F18/20

Abstract: 本说明书实施例公开了一种针对硬件设备的模型选取方法、装置及设备，该方法包括：获取待部署到目标终端的一个或多个目标模型，并获取目标终端的硬件配置信息，然后，可以根据每个目标模型的模型结构、对应的输入数据的长度、对应的中间数据的维度信息，以及每个目标模型中包含的乘法操作和加法操作的数量，确定每个目标模型对应的计算量，并可以根据模型结构、输入数据的长度、中间数据的维度信息，确定每个目标模型对应的内存访问代价，最终，可以基于每个目标模型对应的计算量和内存访问代价，确定每个目标模型对应的模型计算强度，基于模型计算强度和硬件配置信息，从一个或多个目标模型中选取与目标终端相匹配的目标模型。

公开(公告)号：CN117290472A

公开(公告)日：2023-12-26

申请号：CN202311141903.7

申请日：2023-09-05

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 蒋晨之 ,  傅幸 ,  王维强

IPC: G06F16/332 ,  G06F40/289 ,  G06F40/30 ,  G06F18/22

Abstract: 本说明书一个或多个实施例公开了一种问题应答方法，首先获取针对目标账户的第一账户问题；然后基于第一账户问题，利用预先训练的提示模型生成与当前业务场景以及目标账户相匹配的第二账户问题，且第二账户问题中包含与第一账户问题相关的提示信息，其中，该提示模型是基于历史第一账户问题、与历史第一账户问题相关的历史提示信息以及历史账户问题标签进行模型训练得到的模型；最后将第二账户问题输入语言大模型，得到第二账户问题对应的答案，并将答案作为第一账户问题对应的答案。

公开(公告)号：CN117252250A

公开(公告)日：2023-12-19

申请号：CN202311176837.7

申请日：2023-09-12

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 赵文龙 ,  张天翼 ,  宋博文 ,  刘腾飞 ,  傅幸 ,  马博群 ,  欧建永 ,  董迹海 ,  田胜

IPC: G06N3/0895 ,  G06N3/0455

Abstract: 本说明书一个或多个实施例公开了一种大模型预训练方法及装置。首先通过大模型的第一输入通道获取第一模态数据集，并通过大模型的第二输入通道获取第二模态数据集；然后将第一模态数据集中的模态数据输入到大模型中的第一编码器，得到第一表征信息，将第二模态数据集中包含的多种模态数据分别输入到大模型中的第二编码器，并将第二模态数据集对应第二编码器的输出结果进行表征融合处理，得到第二表征信息；最后将第一表征信息和第二表征信息映射到预设的特征空间，并基于特征空间的映射信息和预设的对比学习损失函数对大模型进行对比学习训练，得到预训练后的大模型，对比学习损失函数基于实体之间的表征相似性确定。

公开(公告)号：CN116932546A

公开(公告)日：2023-10-24

申请号：CN202310871034.7

申请日：2023-07-14

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 蒋晨之 ,  傅幸 ,  王维强

IPC: G06F16/22 ,  G06F18/22 ,  G06F18/25 ,  G06N3/0464 ,  G06N3/08

Abstract: 本说明书一个或多个实施例公开了一种数据的处理方法及装置。该方法包括：首先获取表征信息，该表征信息中至少包括第一表征模型上线后的新增表征信息；然后，基于所获取的表征信息以及预设的损失函数对第二表征模型进行模型训练，得到训练后的第二表征模型，并基于训练后的第二表征模型构建记忆表征库，该记忆表征库用于存储新增表征信息对应的新增类别和新增类别对应的类别中心表征信息；最后，基于所构建的记忆表征库和/或第二表征模型对预设业务进行业务处理。

公开(公告)号：CN116628032A

公开(公告)日：2023-08-22

申请号：CN202310617492.8

申请日：2023-05-26

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 蒋晨之 ,  傅幸 ,  王维强

IPC: G06F16/2455 ,  G06F18/2431 ,  G06F16/22 ,  G06N20/20 ,  G06N3/047

Abstract: 本申请实施例提供一种表征提取模型的训练方法、表征提取方法及相关产品，涉及计算机技术领域，其中，表征提取模型的训练方法，包括：将样本输入到表征提取模型中，获取所述表征提取模型输出的所述样本的第一表征向量；将所述第一表征向量拆分为多个子表征向量；将所述多个子表征向量中的每个子表征向量连接一个输出，得到多个第二表征向量；基于预设损失函数，根据所述多个第二表征向量确定第一熵损失，根据所述多个子表征向量确定第一分布散度，将所述第一分布散度作为所述第一熵损失的负相关惩罚，确定所述样本对应的第一损失值；根据所述第一损失值，对所述表征提取模型的参数进行训练，得到训练后的表征提取模型。

公开(公告)号：CN115828162B

公开(公告)日：2023-07-07

申请号：CN202310137411.4

申请日：2023-02-08

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 陈琢 ,  傅幸 ,  王维强 ,  蒋晨之 ,  刘芳卿

IPC: G06F18/241 ,  G06F18/214 ,  G06F18/25

Abstract: 本说明书公开了一种分类模型训练的方法、装置、存储介质及电子设备，在本说明书提供的方法中，先获得每种模态类型的信息的单模态分类结果，作为第一分类结果，然后将各模态类型的信息输入待训练的多模态分类模型，确定各模态类型的信息的特征与各特征的融合特征，并根据融合特征确定所述训练样本的分类结果，作为第二结果，根据所述第一分类结果、第二分类结果、所述标注确定各模态类型对应的损失，根据各模态类型对应的损失确定共同损失，根据共同结果调整待训练的多模态分类模型的参数，得到训练后的多模态分类模型。从上述方法中可以看出，根据本方法训练得到的多模态分类模型能够准确的根据多模态类型的信息进行分类。

公开(公告)号：CN116361657A

公开(公告)日：2023-06-30

申请号：CN202310353822.7

申请日：2023-04-04

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 蒋晨之 ,  傅幸 ,  王维强

IPC: G06F18/214 ,  G06F18/241

Abstract: 本说明书提供了一种用于对灰样本标签进行消歧的方法，包括：获取样本数据和类别标签空间；确定该样本数据中灰样本的歧义标签，并构成歧义标签空间，该歧义标签空间是类别标签空间的子集；以及使用该样本数据来训练分类模型，其中该分类模型的损失函数至少部分地基于该灰样本的歧义标签的权重矩阵，其中在训练该分类模型期间更新该权重矩阵。本说明书还提供了一种识别风险账户的方法，包括：对待识别账户进行特征提取以得到相关联的特征向量；将该特征向量输入预训练的分类模型以确定该待识别账户是否属于风险账户的分类概率，该分类模型是使用包括消歧后的灰样本的样本数据进行预训练的。还提供了众多其他方面。