公开(公告)号：CN111682972B

公开(公告)日：2020-11-03

申请号：CN202010819237.8

申请日：2020-08-14

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 王世军 ,  朱宝成 ,  李晨 ,  吴明哲 ,  詹姆士·张 ,  褚崴 ,  漆远

IPC: H04L12/24 ,  G06N20/00 ,  H04L29/08

Abstract: 本说明书实施例提供一种更新业务预测模型的方法和装置，其中业务预测模型包括通过强化学习实现的智能体。方法包括：获取业务请求，根据业务请求确定环境的状态特征；将状态特征输入智能体，智能体根据第一策略参数下的策略函数，确定对应的业务响应作为当前动作。然后，向环境输出业务响应，基于环境反馈确定当前奖励。接着，根据状态特征，当前动作和当前奖励，以损失函数最小化为目标，确定更新后的第二策略参数，其中损失函数与第一目标项负相关，所述第一目标项包括，采用高斯混合模型GMM，将第二策略参数下的策略函数表示为K个高斯分布的组合的第一表达式；于是，可以用第二策略参数下的策略函数，更新智能体。

公开(公告)号：CN117033417A

公开(公告)日：2023-11-10

申请号：CN202311056833.5

申请日：2023-08-21

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 李晨

IPC: G06F16/242 ,  G06F16/14 ,  G06F16/18 ,  G06F16/245 ,  G06F16/25 ,  G06F16/22

Abstract: 一种服务数据的处理方法、介质和计算机设备，所述方法包括：获取目标服务的至少一个服务事件分别对应的目标服务数据；基于获取到的目标服务数据生成服务数据汇总表；每个服务事件对应的目标服务数据基于以下方式获取：获取在多个服务系统分别执行服务事件的过程中产生的日志文件；日志文件包含与其对应的服务系统采集的至少一条服务数据；基于用户配置的映射规则，将获取到的日志文件中的服务数据，分别映射到与目标服务对应的索引文件中的指定索引字段，以生成与各个服务系统对应的日志数据源表；获取用户从索引文件中指定的目标索引字段，并将与各个服务系统对应的日志数据源表中与目标索引字段存在映射关系的服务数据确定为目标服务数据。

公开(公告)号：CN111682972A

公开(公告)日：2020-09-18

申请号：CN202010819237.8

申请日：2020-08-14

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 王世军 ,  朱宝成 ,  李晨 ,  吴明哲 ,  詹姆士·张 ,  褚崴 ,  漆远

IPC: H04L12/24 ,  G06N20/00 ,  H04L29/08

Abstract: 本说明书实施例提供一种更新业务预测模型的方法和装置，其中业务预测模型包括通过强化学习实现的智能体。方法包括：获取业务请求，根据业务请求确定环境的状态特征；将状态特征输入智能体，智能体根据第一策略参数下的策略函数，确定对应的业务响应作为当前动作。然后，向环境输出业务响应，基于环境反馈确定当前奖励。接着，根据状态特征，当前动作和当前奖励，以损失函数最小化为目标，确定更新后的第二策略参数，其中损失函数与第一目标项负相关，所述第一目标项包括，采用混合高斯模型GMM，将第二策略参数下的策略函数表示为K个高斯分布的组合的第一表达式；于是，可以用第二策略参数下的策略函数，更新智能体。