公开(公告)号：CN119473402A

公开(公告)日：2025-02-18

申请号：CN202411537681.5

申请日：2024-10-30

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 朱涧江 ,  沈春杰

IPC: G06F9/38 ,  G06F16/901 ,  G06N3/042

Abstract: 本说明书实施例提供了一种利用计算图优化指令执行时刻的方法、计算图执行方法及装置。计算图包括代表指令的节点和代表指令之间依赖关系的边。在对计算图中的指令进行优化时，可以确定计算图在执行时的节点耗时和边耗时，基于计算图中指令之间的依赖关系、节点耗时和边耗时，以及硬件的指令重叠执行能力，构建包含若干指令的执行时刻的若干待规划约束，确定若干待规划约束中指令的最晚执行时刻，以最小化该最晚执行时刻为目标，对若干待规划约束进行求解，得到若干指令的优化执行时刻，以使得执行方在执行计算图时，能够按照优化后的指令执行时刻执行若干指令。计算图中多个指令的执行顺序属于隐私数据，需要进行隐私保护。

公开(公告)号：CN116128021A

公开(公告)日：2023-05-16

申请号：CN202310134555.4

申请日：2023-02-07

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 钟颖 ,  朱涧江 ,  杨鹏程 ,  张晓明

IPC: G06N3/0455 ,  G06N3/047 ,  G06N3/098 ,  G06F40/289

Abstract: 本说明书实施例提供一种基于序列模型的并行处理方法及装置。该方法由各自部署序列模型的n个设备中任意的第i个设备执行，包括：获取对输入序列进行第一划分而得到的n份中的第i个子序列；基于序列模型中的自注意力参数，将第i个子序列分别映射为查询序列、键序列和值序列；对查询序列进行第二划分得到m个微序列；与其他的n‑1个设备共同执行m轮处理，任意的第j轮处理包括：将第j个微序列作为目标序列分别发送至n‑1个设备；基于目标序列、键序列和值序列，与n‑1个设备各自的键序列、值序列和该目标序列共同执行分布式计算，得到全局注意力编码；基于m个全局注意力编码确定与第i个子序列对应的注意力编码序列，以确定输入序列的预测结果。