公开(公告)号：CN112541575A

公开(公告)日：2021-03-23

申请号：CN202011409587.3

申请日：2020-12-06

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 熊涛 ,  朱亮 ,  吴若凡 ,  漆远

IPC: G06N3/04 ,  G06N3/08 ,  G06K9/62

Abstract: 本说明书实施例提供一种图神经网络的训练方法，包括：获取原始关系网络图，其中包括对应多个业务对象的多个对象节点，以及对象节点之间存在关联关系而形成的原始连接边；在该原始关系网络图中添加若干记忆节点，并在每个记忆节点和每个对象节点之间建立新增连接边，得到扩张关系网络图，用于对图神经网络进行多轮迭代更新，其中任一轮包括：利用图神经网络对扩张关系网络图进行图嵌入处理，在多个图神经网络隐层中的任一隐层，对上一隐层针对第一对象节点、其若干邻居对象节点和若干记忆节点输出的隐向量进行聚合，得到本隐层输出的第一对象隐向量；根据最后一个隐层输出的第一对象隐向量以及第一对象节点的业务标签，对图神经网络进行本轮更新。

公开(公告)号：CN111682972B

公开(公告)日：2020-11-03

申请号：CN202010819237.8

申请日：2020-08-14

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 王世军 ,  朱宝成 ,  李晨 ,  吴明哲 ,  詹姆士·张 ,  褚崴 ,  漆远

IPC: H04L12/24 ,  G06N20/00 ,  H04L29/08

Abstract: 本说明书实施例提供一种更新业务预测模型的方法和装置，其中业务预测模型包括通过强化学习实现的智能体。方法包括：获取业务请求，根据业务请求确定环境的状态特征；将状态特征输入智能体，智能体根据第一策略参数下的策略函数，确定对应的业务响应作为当前动作。然后，向环境输出业务响应，基于环境反馈确定当前奖励。接着，根据状态特征，当前动作和当前奖励，以损失函数最小化为目标，确定更新后的第二策略参数，其中损失函数与第一目标项负相关，所述第一目标项包括，采用高斯混合模型GMM，将第二策略参数下的策略函数表示为K个高斯分布的组合的第一表达式；于是，可以用第二策略参数下的策略函数，更新智能体。