公开(公告)号：CN118567626B

公开(公告)日：2024-11-29

申请号：CN202411045830.6

申请日：2024-07-31

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 官砚楚 ,  王东 ,  王海青 ,  孙仁恩 ,  庄晨熠 ,  顾进杰

IPC: G06F8/30 ,  G06F9/48 ,  G06F16/33

Abstract: 本说明书公开了一种任务自主处理方法、装置、存储介质及电子设备，其中，方法包括：获取用户向智能体服务对象所输入的针对目标事务的目标任务，基于目标任务采用任务处理大语言模型进行任务执行代码生成处理得到目标RPA代码，控制智能体服务对象对目标事务执行目标RPA代码，以对目标任务进行任务自主处理。

公开(公告)号：CN118246505A

公开(公告)日：2024-06-25

申请号：CN202410089426.2

申请日：2024-01-22

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 谢志添 ,  庄晨熠 ,  石起涛 ,  顾进杰 ,  张冠男

IPC: G06N3/08 ,  G06N3/0442 ,  G06N3/042 ,  G06N3/045 ,  G06N3/096 ,  G06N3/0499 ,  G06N3/084

Abstract: 本说明书实施例提供一种大语言模型的训练方法及装置，以及一种预测模型的训练方法及装置。其中大语言模型的训练方法包括：首先，将训练样本的样本特征输入大语言模型，得到对应的预测结果；该训练样本包括自然语言文本，大语言模型包括混合专家神经网络MoE，所述MoE网络包括门控网络和多个专家网络。接着，基于所述预测结果和所述训练样本的样本标签，确定任务损失项；以及，基于所述多个专家网络对应的多个输出，确定蒸馏损失项；所述多个专家网络之间互为蒸馏学习中的学生和老师。之后，基于所述任务损失项和蒸馏损失项，训练所述大语言模型。

公开(公告)号：CN118227882A

公开(公告)日：2024-06-21

申请号：CN202410431048.1

申请日：2024-04-10

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 赵耀 ,  蔡天驰 ,  庄晨熠 ,  顾进杰

IPC: G06F16/9535 ,  G06Q30/0601 ,  G06Q30/0251 ,  G06F18/214 ,  G06N20/00

Abstract: 本说明书提供的点击率预测模型训练方法和系统以及内容推荐方法和系统，获得训练样本集，所述训练样本集中包括不加入位置特征的无位置特征样本集和加入位置特征的有位置特征样本集，基于这两部分样本集及其对应的点击率标签训练目标预测模型，使得目标预测模型在训练过程中能够正确学习到位置特征对点击率的影响，这样训练完成的目标预测模型就能够准确预测目标用户对推荐内容的预测点击率，消除了由位置特征引起的偏差，提高了预测点击率的预测准确性。而且，基于准确率高的多个预测点击率就能够向目标用户推荐与其相关性更高的目标推荐内容，提升了内容推荐的准确性。

公开(公告)号：CN117973478A

公开(公告)日：2024-05-03

申请号：CN202410149071.1

申请日：2024-02-01

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 赵耀 ,  梁宸 ,  庄晨熠 ,  顾进杰 ,  张冠男

IPC: G06N3/08 ,  G06N3/0495

Abstract: 本说明书提供一种大语言模型的优化方法、装置、设备、介质及计算机程序产品。所述方法包括：根据大语言模型中量化后和量化前的目标矩阵的差异获得残差矩阵；根据与所述残差矩阵的第一列向量相似度最高的量化后的目标矩阵中的第二列向量，确定所述残差矩阵的稀疏基；根据所述稀疏基得到量化后的网络层的修正参数，所述修正参数用于对推理过程中所述量化后的网络层的输出数据进行修正。通过从目标矩阵中获得与网络层量化后与量化前的误差相似的参数组合，来对推理过程中该网络层的输出数据进行修正，可以使输出数据更接近于量化前网络层的输出数据，从而减小了量化误差，降低了量化效果损失。

公开(公告)号：CN115392957A

公开(公告)日：2022-11-25

申请号：CN202210968175.6

申请日：2022-08-12

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 马钰 ,  刘致宁 ,  庄晨熠 ,  谭译泽 ,  董羿 ,  钟文亮 ,  顾进杰 ,  郎雨泽 ,  卢星宇 ,  马文琪 ,  曾晓东 ,  张冠男

IPC: G06Q30/02 ,  G06N20/00 ,  G06K9/62

Abstract: 本说明书实施例公开了一种模型训练中的注意力图的生成方法、装置以及设备。通过获取所述事件序列所对应的特征矩阵；确定所述事件序列中所包含的第i个事件所对应的第一时间向量x，确定所述事件序列中所包含的第j个事件所对应的第二时间向量x’；根据预设的时态内核、所述第一时间向量x和所述第二时间向量x’确定时间注意力权重矩阵kt；采用预设的事件内核确定所述事件键矩阵Ke和事件查询矩阵Qe所对应的事件注意力权重矩阵ke；融合所述时间注意力权重矩阵kt和所述事件注意力权重矩阵ke生成总注意力权重矩阵；根据所述总注意力权重矩阵和所述事件值矩阵Ve生成注意力图，从而体现出各事件的绝对时间和相对时间在相关性上的贡献。

公开(公告)号：CN112581191A

公开(公告)日：2021-03-30

申请号：CN202011626281.3

申请日：2020-08-14

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 庄晨熠 ,  张志强 ,  刘子奇 ,  周俊 ,  谭译泽 ,  魏建平 ,  刘致宁 ,  吴郑伟 ,  顾进杰 ,  漆远 ,  张冠男

IPC: G06Q30/02 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本说明书实施例提供一种行为预测模型的训练方法，包括：针对目标对象，获取基于多个种子用户形成的多个正样本，其中任意的第一正样本包括，与第一种子用户对应的第一用户特征和正例标签，此标签指示对应用户是被确定为对目标对象做出特定行为的用户；基于多个种子用户各自的用户特征，采用无监督的离群点检测算法，确定第一种子用户的离群分数，作为针对行为预测任务的第一训练权重；利用包括上述多个正样本以及预先获取的多个负样本，对第一行为预测模型进行第一训练，具体包括：将第一用户特征输入第一行为预测模型中，结合得到的行为预测结果和上述正例标签，确定行为预测损失，并利用第一训练权重对其进行加权处理，以训练第一行为预测模型。