公开(公告)号：CN113177034B

公开(公告)日：2023-07-18

申请号：CN202110491976.3

申请日：2021-05-06

Applicant: 南京大学

Inventor： 黄宜华 ,  王肇康 ,  黎俊虹

IPC: G06F16/182 ,  G06F16/901

Abstract: 本发明公开了一种跨平台统一的分布式图数据处理方法，包括如下步骤：用户通过跨平台统一分布式图处理编程框架提供的API触发计算；用户的程序被序列化到程序文件中并上传分布式文件系统；框架启动相应分布式图处理系统的计算作业；集群中多个计算节点启动计算进程；每个计算进程下载程序文件并启动PregelX Runner进程；PregelX Runner与计算进程建立进程间通信通道，计算进程通过进程间通信通道调用用户程序进行具体的数据处理。本发明使得用户可以基于Python语言编写可跨平台执行的分布式图数据处理程序，解决了现有分布式图处理系统用户学习成本高、程序迁移代价高等易用性不足的问题。

公开(公告)号：CN113177034A

公开(公告)日：2021-07-27

申请号：CN202110491976.3

申请日：2021-05-06

Applicant: 南京大学

Inventor： 黄宜华 ,  王肇康 ,  黎俊虹

IPC: G06F16/182 ,  G06F16/901

Abstract: 本发明公开了一种跨平台统一的分布式图数据处理方法，包括如下步骤：用户通过跨平台统一分布式图处理编程框架提供的API触发计算；用户的程序被序列化到程序文件中并上传分布式文件系统；框架启动相应分布式图处理系统的计算作业；集群中多个计算节点启动计算进程；每个计算进程下载程序文件并启动PregelX Runner进程；PregelX Runner与计算进程建立进程间通信通道，计算进程通过进程间通信通道调用用户程序进行具体的数据处理。本发明使得用户可以基于Python语言编写可跨平台执行的分布式图数据处理程序，解决了现有分布式图处理系统用户学习成本高、程序迁移代价高等易用性不足的问题。