-
公开(公告)号：CN114880272A
公开(公告)日：2022-08-09
申请号：CN202210346314.1
申请日：2022-03-31
Applicant: 深圳清华大学研究院
IPC: G06F15/173 , G06F9/50
Abstract: 提供基于分布式并行计算的图计算方法、分布式并行计算系统和计算机可读介质。图计算方法包括:获得要计算的图的数据，图包括多个顶点和边，对于源顶点和目标顶点的度数均大于预定阈值的子图，针对目标顶点的归约分发(Reduce Scatter)类型通信，执行如下操作：对于行、列上的归约，使用环式算法；对于全局的归约，首先在本地对消息进行转置，使数据由行优先变为列优先，然后先调用行上的归约分发，再调用列上的归约分发，以缩减列上的跨超节点通信。本公开的图计算方法通过集合通信优化，能够缩减列上的跨超节点通信，分级的归约分发在第一步行内的归约中消除了超节点内的冗余数据，使得第二步中跨超节点的通信是最小的、无冗余的。
-
公开(公告)号：CN114880271A
公开(公告)日：2022-08-09
申请号：CN202210344613.1
申请日：2022-03-31
Applicant: 深圳清华大学研究院
IPC: G06F15/163 , G06F9/50
Abstract: 提供基于可扩展异构众核并行计算的图计算方法、异构众核计算系统和计算机可读介质。图计算方法包括:获得要计算的图的数据，图包括多个顶点和边；边消息的处理中，消息生成部分和消息重排部分采用分桶步骤来将消息分给目标节点；将从核按行分为2类，生产者和消费者，其中生产者从内存获取数据，进行当前阶段的数据处理，如果有生成数据则根据目标地址置入对应于应当处理此消息的消费者的发送缓冲中，缓冲满时通过RMA传递给相应的消费者；消费者接收RMA传递过来的消息，进行后续的需要互斥的操作；每个核组的同号消费者负责相同的输出桶，核组间通过主存上的原子取并加来实现桶尾位置的计数。本公开的方案实现了从核加速，提高了处理效率。
-
Patent Agency Ranking
公开(公告)号：CN114880112A
公开(公告)日：2022-08-09
申请号：CN202210346311.8
申请日：2022-03-31
Applicant: 深圳清华大学研究院
IPC: G06F9/50
Abstract: 提供基于分布式并行计算的图计算方法、分布式并行计算系统和计算机可读介质。图计算方法包括:获得要计算的图的数据，将顶点按照度数划分为第一极高度数类E，第二高度数类H和第三普通类R,由预定数目个计算节点组成超节点，超节点内部的节点间通信比跨越超节点的节点间的通信速度快，将节点划分为网格，每个格子一个节点，一个超节点的内部节点逻辑上排列为一行，顶点按编号均匀划分到各节点，Ri、Ro由所属节点维护，在列上同步维护Ho顶点状态，在列上和行上同步维护Hi顶点状态，全局同步维护Eo、Ei顶点状态。三级别顶点分类划分方法使得每个子图在节点之间都很好地平衡，有助于消除消息向同一个超级节点的重复发送，同时避免代价高昂的全局代理。
-
公开(公告)号：CN114327479A
公开(公告)日：2022-04-12
申请号：CN202111618375.0
申请日：2021-12-27
Applicant: 清华大学
Abstract: 一种用于大数据的数据处理方法和数据处理装置。该数据处理方法包括：获取用原生编程语言编写的主程序；在原生系统中将主程序进行编译并生成可加载模块，其中，可加载模块包括第一部分程序和第二部分程序；由原生系统中运行的虚拟机加载可加载模块，并且将第二部分程序转换为预定虚拟机大数据处理体系支持的虚拟机代码；以及由虚拟机运行可加载模块包含的主程序，其中，虚拟机构建可加载模块对应的有向无环图程序，然后运行有向无环图程序，将第一部分程序交由原生系统运行，将转换后的第二部分程序交由预定虚拟机大数据处理体系运行。该数据处理方法可以在融入现有虚拟机大数据软件生态的前提下构建高性能大数据处理框架。
-
公开(公告)号：CN114327479B
公开(公告)日：2025-03-18
申请号：CN202111618375.0
申请日：2021-12-27
Applicant: 清华大学
Abstract: 一种用于大数据的数据处理方法和数据处理装置。该数据处理方法包括：获取用原生编程语言编写的主程序；在原生系统中将主程序进行编译并生成可加载模块，其中，可加载模块包括第一部分程序和第二部分程序；由原生系统中运行的虚拟机加载可加载模块，并且将第二部分程序转换为预定虚拟机大数据处理体系支持的虚拟机代码；以及由虚拟机运行可加载模块包含的主程序，其中，虚拟机构建可加载模块对应的有向无环图程序，然后运行有向无环图程序，将第一部分程序交由原生系统运行，将转换后的第二部分程序交由预定虚拟机大数据处理体系运行。该数据处理方法可以在融入现有虚拟机大数据软件生态的前提下构建高性能大数据处理框架。
-
公开(公告)号：CN114880272B
公开(公告)日：2024-06-07
申请号：CN202210346314.1
申请日：2022-03-31
Applicant: 深圳清华大学研究院
IPC: G06F15/173 , G06F9/50
Abstract: 提供基于分布式并行计算的图计算方法、分布式并行计算系统和计算机可读介质。图计算方法包括:获得要计算的图的数据，图包括多个顶点和边，对于源顶点和目标顶点的度数均大于预定阈值的子图，针对目标顶点的归约分发(Reduce Scatter)类型通信，执行如下操作：对于行、列上的归约，使用环式算法；对于全局的归约，首先在本地对消息进行转置，使数据由行优先变为列优先，然后先调用行上的归约分发，再调用列上的归约分发，以缩减列上的跨超节点通信。本公开的图计算方法通过集合通信优化，能够缩减列上的跨超节点通信，分级的归约分发在第一步行内的归约中消除了超节点内的冗余数据，使得第二步中跨超节点的通信是最小的、无冗余的。
-
公开(公告)号：CN114756483A
公开(公告)日：2022-07-15
申请号：CN202210346305.2
申请日：2022-03-31
Applicant: 深圳清华大学研究院
IPC: G06F12/0877 , G06F16/2453 , G06F16/901
Abstract: 提供基于分布式并行计算的图计算方法、分布式并行计算系统和计算机可读介质。图计算方法包括:获得要计算的图的数据，图包括多个顶点和边；按照压缩稀疏行格式来存储图，存储为稀疏矩阵形式，其中，同一个顶点的所有邻边连续存储，辅以偏移量数组来支撑其索引功能；对于源顶点和目标顶点的度数均大于预定阈值的子图，正向图中按目标顶点即矩阵的列进行分段、反向图中按源顶点即矩阵的行进行分段，将所述子图进一步分为多个分段子图SSG分量，从而使得每个分段子图SSG中目标顶点限制在预定范围内。本实施例的针对高度数顶点的分段子图方法避免或减轻了传统的由于单一大图的顶点范围过大导致访问邻居顶点的数据的时空局部性非常差的问题。
-
-
-
-
-
-
Search Results
7
records
(took 0.021 seconds)
