公开(公告)号：CN116933863A

公开(公告)日：2023-10-24

申请号：CN202310913276.8

申请日：2023-07-24

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 邱鹏宇 ,  刘永超

IPC: G06N3/098 ,  G06N20/00 ,  G06N3/084 ,  G06N3/048 ,  G06F21/62

Abstract: 本说明书实施例提供一种分布式模型训练方法和系统，涉及人工智能技术领域。技术要点包括：基于本地的训练样本特征数据以及本地的前端模型，得到中间层数据；对所述中间层数据进行整数化处理，得到整数化数据；将所述整数化数据传输给服务器；接收服务器返回的损失函数值相对所述整数化数据的梯度信息；所述损失函数值反映预测结果以及相应训练样本的标签的差异；基于损失函数值相对所述整数化数据的梯度信息确定损失函数值相对本地的前端模型各模型参数的梯度信息；基于损失函数值相对本地的前端模型各模型参数的梯度信息更新本地的前端模型的模型参数。

公开(公告)号：CN116611009A

公开(公告)日：2023-08-18

申请号：CN202310641127.0

申请日：2023-05-31

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 刘永超 ,  邱鹏宇

IPC: G06F18/2415 ,  G06N3/098 ,  G06N3/084 ,  G06N3/047 ,  G06N3/0455

Abstract: 本说明书实施例提供一种分类模型的训练方法、用户分类的方法和装置，方法包括：对样本用户的特征表示向量中的元素随机置0处理，得到缺失表示向量；将缺失表示向量输入编码器，得到样本用户对应的隐向量所服从的高斯分布的均值向量和方差向量；基于均值向量和方差向量，生成第一隐向量，将第一隐向量输入解码器，得到样本用户的重建表示向量；根据重建表示向量和特征表示向量之间的差异，确定第一损失项；将均值向量输入分类器，得到样本用户属于各个预设类别的概率分布；根据样本用户的类别标签和概率分布，确定第二损失项；总损失函数包括第一损失项和第二损失项。能够提升分类模型在用户特征取值存在缺失时的性能。

公开(公告)号：CN117273086B

公开(公告)日：2024-03-08

申请号：CN202311550408.1

申请日：2023-11-17

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 邱鹏宇 ,  刘永超

IPC: G06N3/0464 ,  G06N3/08

公开(公告)号：CN117273086A

公开(公告)日：2023-12-22

申请号：CN202311550408.1

申请日：2023-11-17

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 邱鹏宇 ,  刘永超

IPC: G06N3/0464 ,  G06N3/08

Abstract: 本说明书实施例提供一种多方联合训练图神经网络的方法及装置，其中供图方持有包含多个节点的关系网络图，样本方持有至少部分节点特征或至少部分节点标签，中立方部署有图神经网络。该方法涉及针对多个节点的多轮遍历训练，其中任一轮遍历训练包括：供图方和样本方各自根据当前批次的节点标识对应的本地数据与中立方进行交互，其中当前批次是针对本轮遍历训练将多个节点进行随机划分得到的多个批次之一，该交互使得中立方利用图神经网络得到对应当前批次节点的本轮表征向量；之后，中立方在本轮表征向量中融合上一轮遍历训练得到的对应当前批次节点的历史表征向量，进而结合当前批次对应的标签数据完成图神经网络针对当前批次的迭代更新。