-
公开(公告)号：CN117762638A
公开(公告)日：2024-03-26
申请号：CN202311839576.2
申请日：2023-12-27
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供了计算任务处理方法及装置。在该计算任务处理方法中，可以获取第一计算任务，该第一计算任务包括用于任务计算的第一算子执行逻辑图；基于第一算子执行逻辑图中的算子依赖关系和算子计算所需数据缓存容量对第一算子执行逻辑图进行算子重构，得到经过算子重构后的第二算子逻辑执行图；以及将包括第二算子逻辑执行图的第二计算任务提供给任务执行装置以供任务执行装置执行。
-
公开(公告)号：CN119293386A
公开(公告)日：2025-01-10
申请号：CN202411253157.5
申请日：2024-09-06
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书提供了一种矩阵计算方法及相关设备。该方法应用于计算设备，所述计算设备中搭载了外存和内存，所述外存中存储了待计算的第一矩阵，所述内存中存储了待计算的第二矩阵；其中，所述第一矩阵包含的数据量大于所述内存中分配给所述第一矩阵的存储容量。该方法包括：将所述外存中存储的所述第一矩阵划分成多个子矩阵；其中，所述多个子矩阵中的每个子矩阵包含的数据量不大于所述内存中分配给所述第一矩阵的存储容量；将所述多个子矩阵分批次地从所述外存加载至所述内存中，并与所述第二矩阵进行矩阵乘法计算。
-
Patent Agency Ranking
公开(公告)号：CN117910504A
公开(公告)日：2024-04-19
申请号：CN202311785196.5
申请日：2023-12-22
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供一种使用分布式图计算框架进行基于图模型的计算方法及装置，在计算方法中，加载预先针对分布式图计算框架而定义的接口函数库，其中至少定义，特征读取函数以及多个特征处理函数。执行调用特征读取函数的第一语句，该第一语句包括目标点和/或目标边的特征数据的相关参数，从而从分布式图计算框架的外存读取特征数据。执行调用目标特征处理函数的第二语句，该目标特征处理函数选自多个特征处理函数，第二语句包括目标特征处理函数的自定义运算函数和输入特征，该自定义运算函数和输入特征根据目标子模型而确定，该目标子模型是预先根据处理的特征类别对图模型进行拆分得到的多个子模型之一。
-
公开(公告)号：CN116384505A
公开(公告)日：2023-07-04
申请号：CN202310164810.X
申请日：2023-02-13
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06N20/00
Abstract: 本说明书公开了一种数据处理的方法、装置、存储介质及电子设备，首先，获取目标模型以及目标设备的设备参数。其次，根据设备参数，生成目标设备执行目标模型所需运算操作时所采用的各候选执行方案。而后，针对每个候选执行方案，通过该候选执行方案，执行运行目标模型时所需的运算操作，以确定目标设备通过执行运算操作得到目标模型的输出结果时所监测到的执行评估参数，作为该候选执行方案的执行评估参数。最后，根据各候选执行方案对应的执行评估参数，确定目标执行方案，并对目标设备执行目标模型所需的运算操作进行调整，以根据调整后的运算操作，通过目标模型执行数据处理。本方法可以保证目标设备能够有效的通过目标模型执行数据处理。
-
公开(公告)号：CN120029775A
公开(公告)日：2025-05-23
申请号：CN202510126192.9
申请日：2025-01-27
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F9/50 , G06F16/901
Abstract: 本说明书的实施例涉及用于分割图数据的方法、装置、电子设备和程序产品。该方法包括确定图数据中的多个顶点各自的度数，其中度数表示与顶点相对应的多个边的数量。当顶点的度数大于度数阈值时，将顶点分割为多个虚拟点，其中多个虚拟点被分配有顶点相对应的边。将多个虚拟点分配至分布式集群的多个处理线程进行计算。
-
公开(公告)号：CN119883614A
公开(公告)日：2025-04-25
申请号：CN202411940889.1
申请日：2024-12-25
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F9/50 , G06F16/901
Abstract: 本发明涉及用于划分图数据的方法、装置、电子设备和程序产品。该方法包括确定与图数据中的顶点和边二者相关的总数量。进一步地，该方法还包括基于总数量和分布式集群中的多个处理线程的数量，确定处理线程能够被分配的顶点和边二者的数量的上限值。从而可以按照图数据中多个顶点各自的边的数量，将多个顶点分配至多个处理线程，分配至处理线程的顶点和对应的边二者的数量小于或者等于上限值。
-
公开(公告)号：CN115860148A
公开(公告)日：2023-03-28
申请号：CN202211384781.X
申请日：2022-11-07
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供用于优化机器学习模型训练的方法、装置及分布式机器学习模型训练系统。响应于完成本地模型计算得到模型参数的梯度信息，各个成员处理设备将梯度信息切片为第一数目个梯度信息切片；并与所属分布式训练节点的所有其它成员处理设备一起，使用各自梯度信息切片数据合并处理，每个编号的成员处理设备得到使用对应编号的梯度信息切片进行数据合并处理后的第一梯度信息切片合并结果。随后，各个成员处理设备与其它分布式训练节点的具有相同编号的所有其它成员处理设备一起，使用各自的第一梯度信息切片合并结果执行数据合并处理，得到第二梯度信息切片合并结果；并且将第二梯度信息切片合并结果存储在为该成员处理设备分配的存储空间中。
-
-
-
-
-
-
Search Results
7
records
(took 0.054 seconds)
