-
公开(公告)号:CN114637756B
公开(公告)日:2024-08-13
申请号:CN202210253352.2
申请日:2021-10-20
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F16/23 , G06F16/2458 , G06F16/953 , G06F9/50
Abstract: 本说明书实施例提供了一种分布式数据处理方法、装置及设备,其中方法包括:确定目标图数据中当前参与数据处理的活跃顶点集合,若第一分布式节点的外存中保存有活跃顶点集合中的任意活跃顶点,则确定预设的多个数据处理模式中与活跃顶点集合相匹配的目标数据处理模式;根据目标数据处理模式,确定与任意活跃顶点具有关联关系的待更新顶点;根据第一分布式节点的外存中的该任意活跃顶点的第一数据,向待更新顶点所在的目标分布式节点发送第一更新消息,以使目标分布式节点根据第一更新消息对其外存中的待更新顶点的第二数据进行更新处理。
-
公开(公告)号:CN113656426B
公开(公告)日:2022-02-08
申请号:CN202111218593.5
申请日:2021-10-20
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F16/23 , G06F16/2458 , G06F16/953 , G06F9/50
Abstract: 本说明书实施例提供了一种分布式数据处理方法、装置及设备,其中方法包括:确定目标图数据中当前参与数据处理的活跃顶点集合,若第一分布式节点的外存中保存有活跃顶点集合中的任意活跃顶点,则确定预设的多个数据处理模式中与活跃顶点集合相匹配的目标数据处理模式;根据目标数据处理模式,确定与任意活跃顶点具有关联关系的待更新顶点;根据第一分布式节点的外存中的该任意活跃顶点的第一数据,向待更新顶点所在的目标分布式节点发送第一更新消息,以使目标分布式节点根据第一更新消息对其外存中的待更新顶点的第二数据进行更新处理。
-
公开(公告)号:CN119646836A
公开(公告)日:2025-03-18
申请号:CN202411488935.9
申请日:2024-10-23
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书提出了一种联合进行图处理的方法,第一方和第二方分别持有第一图和第二图,第一方通过与第二方联合执行的隐私保护的排列算法获取到了第一图的各个第一顶点的映射的序号值,第一图第二图中表征不同对象的顶点序号值不同,表征相同对象的顶点的序号值相同。进一步的,根据各个第一顶点的序号值及权值构建了第一权值序列,并基于此与第二参与方构建的第二权值序列,执行第一联合运算,得到第一权值密文序列,第一权值密文序列中第i位对应于序号值i的顶点的权值的同态密文。并利用第一图的边,与第二方联合执行若干轮图迭代,更新第一权值密文序列,最后对更新的第一权值密文序列进行解密,得到第一顶点更新后的权值。
-
公开(公告)号:CN113630476B
公开(公告)日:2021-12-31
申请号:CN202111179194.2
申请日:2021-10-11
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本公开提供了一种应用于计算机集群的通信方法及通信装置。计算机集群用于对图数据进行分布式计算,计算机集群包括第一计算机和第二计算机,第一计算机用于处理图数据中的第一顶点集合中的顶点,第二计算机用于处理图数据中的第二顶点集合中的顶点,第一顶点集合包括第一源顶点,第二顶点集合包括第一源顶点对应的第一目标顶点,所述方法应用于第一计算机。所述通信方法包括:生成第一源顶点的信息;根据预先记录的映射关系信息,确定第二计算机,第二计算机用于处理第一目标顶点的信息;向第二计算机发送第一通信消息,第一通信消息包含第一源顶点的信息,以便第二计算机根据第一源顶点的信息更新第一目标顶点的信息。
-
公开(公告)号:CN113792170A
公开(公告)日:2021-12-14
申请号:CN202111345319.4
申请日:2021-11-15
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F16/51 , G06F16/583
Abstract: 本说明书实施例公开了一种图数据划分方法、装置和计算机设备。所述方法包括:将图数据中的顶点划分到多个数据集中;将图数据中的边划分到边的目标顶点所在的数据集中;其中,所述数据集用于供分布式集群中的节点进行图计算,所述多个数据集的计算量相近。本说明书实施例可以使分布式集群中节点之间的负载均衡,并且可以节省通信开销。
-
公开(公告)号:CN113656426A
公开(公告)日:2021-11-16
申请号:CN202111218593.5
申请日:2021-10-20
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F16/23 , G06F16/2458 , G06F16/953 , G06F9/50
Abstract: 本说明书实施例提供了一种分布式数据处理方法、装置及设备,其中方法包括:确定目标图数据中当前参与数据处理的活跃顶点集合,若第一分布式节点的外存中保存有活跃顶点集合中的任意活跃顶点,则确定预设的多个数据处理模式中与活跃顶点集合相匹配的目标数据处理模式;根据目标数据处理模式,确定与任意活跃顶点具有关联关系的待更新顶点;根据第一分布式节点的外存中的该任意活跃顶点的第一数据,向待更新顶点所在的目标分布式节点发送第一更新消息,以使目标分布式节点根据第一更新消息对其外存中的待更新顶点的第二数据进行更新处理。
-
公开(公告)号:CN119293852A
公开(公告)日:2025-01-10
申请号:CN202411486372.X
申请日:2024-10-22
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供一种两方联合的隐私图计算的技术方案。在两方联合进行的隐私图计算业务场景中,第一方、第二方各自持有本地图数据,对图数据中的节点划分为作为公共节点的第二类节点,和非公共节点的第一类节点。图计算整体架构采用同态加密的方式进行,对于第二类节点在各个计算周期进行参数信息同步。该参数信息同步过程结合不同隐私计算形式之间的转换进行,最终以同步值的同态加密密文形式存在,以供第一方、第二方各自在本地进行同态密文的计算。如此,可以有效降低联合计算过程中的通信量,提高两方隐私图计算的效率。
-
公开(公告)号:CN119248971A
公开(公告)日:2025-01-03
申请号:CN202411390079.3
申请日:2024-09-30
Applicant: 支付宝(杭州)信息技术有限公司 , 清华大学
IPC: G06F16/901 , G06F16/9536 , G06F21/62 , G06F21/60 , G06Q50/00
Abstract: 本说明书实施例披露基于隐私保护联合构建图数据、进行图查询的方法和装置。其中图数据构建方法可以应用于多个计算方中的任一计算方,具体包括以下步骤:先从N个数据方中的任一数据方接收其私有图数据在秘密分享下的私有图分片,其中私有图数据组织为b*b个块构成的矩阵,其中第i行第j列的块记录:私有图中起、终点分别位于第i、j个节点范围的连接边列表,其中b为公开参数;再组合接收到的N份私有图分片,从而构建本方中针对全局图数据的全局图分片;之后,基于全局图分片构建两个数组和对应的两套索引数据,其中一个数组包含b个元素,各元素对应全局图分片中一行b个块的数据,另一数组包含b2个元素,其分别对应全局图分片中b2个块的数据。
-
公开(公告)号:CN114189518A
公开(公告)日:2022-03-15
申请号:CN202111513894.0
申请日:2021-10-11
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本公开提供了一种应用于计算机集群的通信方法及通信装置。计算机集群用于对图数据进行分布式计算,计算机集群包括第一计算机和第二计算机,第一计算机用于处理图数据中的第一顶点集合中的顶点,第二计算机用于处理图数据中的第二顶点集合中的顶点,第一顶点集合包括第一源顶点,第二顶点集合包括第一源顶点对应的第一目标顶点,所述方法应用于第一计算机。所述通信方法包括:生成第一源顶点的信息;根据预先记录的映射关系信息,确定第二计算机,第二计算机用于处理第一目标顶点的信息;向第二计算机发送第一通信消息,第一通信消息包含第一源顶点的信息,以便第二计算机根据第一源顶点的信息更新第一目标顶点的信息。
-
公开(公告)号:CN113630476A
公开(公告)日:2021-11-09
申请号:CN202111179194.2
申请日:2021-10-11
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本公开提供了一种应用于计算机集群的通信方法及通信装置。计算机集群用于对图数据进行分布式计算,计算机集群包括第一计算机和第二计算机,第一计算机用于处理图数据中的第一顶点集合中的顶点,第二计算机用于处理图数据中的第二顶点集合中的顶点,第一顶点集合包括第一源顶点,第二顶点集合包括第一源顶点对应的第一目标顶点,所述方法应用于第一计算机。所述通信方法包括:生成第一源顶点的信息;根据预先记录的映射关系信息,确定第二计算机,第二计算机用于处理第一目标顶点的信息;向第二计算机发送第一通信消息,第一通信消息包含第一源顶点的信息,以便第二计算机根据第一源顶点的信息更新第一目标顶点的信息。
-
-
-
-
-
-
-
-
-