-
公开(公告)号：CN109254844B
公开(公告)日：2021-08-10
申请号：CN201810836244.1
申请日：2018-07-26
Applicant: 华中科技大学
Abstract: 本发明公开了一种大规模图的分布式三角形计算方法，包括：根据计算集群中单个计算节点的可用内存容量划分待处理的大规模图，使得至多一个子图的大小小于单个计算节点的可用内存容量，而其余子图的大小均等于单个计算节点的可用内存容量；根据子图的大小为每一个子图分配计算节点；对于任意一个子图，将其分别发送至分配给该子图的每一个计算节点上；由所有计算节点执行分布式三角形计算，收集并处理分布式三角形计算的结果，从而实现大规模图的分布式三角形计算。本发明能够有效减少计算节点间传递的消息数量，并实现计算节点级和进程级的负载均衡。
-
公开(公告)号：CN105653204A
公开(公告)日：2016-06-08
申请号：CN201510988839.5
申请日：2015-12-24
Applicant: 华中科技大学
IPC: G06F3/06
CPC classification number: G06F3/061 , G06F3/0659 , G06F3/0689
Abstract: 本发明公开了一种基于磁盘的分布式图计算方法，该方法采用基于磁盘的分布式计算模型，用图分割算法将原始图分割成P个子图，通过N次迭代完成一个图算法作业，子图的一次执行为一个任务，共包括(P×N)个任务；一个任务包括(1)子图加载和构建；(2)子图的计算；(3)结果存储、向其它子图发送相关数据的步骤；本方法以流水的方式调度任务，通过任务之间的重叠执行，可隐藏系统执行过程中磁盘读写与通讯的时延，这种执行过程使整个系统的运行时间几乎缩短到计算时间，大大提高了系统的性能，面对不同规模的图，系统可始终保持极小的系统规模，从而大大节省系统的硬件成本。
-
公开(公告)号：CN109254725B
公开(公告)日：2020-05-19
申请号：CN201810838033.1
申请日：2018-07-26
Applicant: 华中科技大学
IPC: G06F3/06
Abstract: 本发明公开了一种基于子图构建的磁盘图处理方法及系统，包括：将图数据组织为双向边块结构；开始迭代图计算；加载图数据到内存中；通过高效的子图构建方法构建以顶点为中心的内存子图；对子图进行更新；将更新的图数据写回磁盘；判断是否达到收敛条件；结束迭代图计算。本发明提出的基于子图构建的磁盘图处理方法通过将子图构建过程中需要访问的顶点和边连续地组织在一起，确保在子图构建过程中内存访问局部性得到充分利用，很好地解决了现在磁盘图处理系统中的高子图构建开销问题，显著的提升了系统的整体性能。
-
公开(公告)号：CN109240600B
公开(公告)日：2020-05-19
申请号：CN201810816008.3
申请日：2018-07-24
Applicant: 华中科技大学
IPC: G06F3/06
Abstract: 本发明公开了基于混合更新策略的磁盘图处理方法，包括：(1)将图组织为入射子块—出射子块双重子块结构；(2)根据当前磁盘读写开销选择不同的更新策略，包括基于行导向的push策略和基于列导向的pull策略；(3)根据选择对图进行访问和顶点值进行更新；(4)判断是否达到收敛条件，若是，执行步骤(5)，否则，执行步骤(2)；(5)输出图的顶点值。本发明提供的混合更新策略，能够根据不同图的运行特征，自适应选择不同的更新策略，最大化磁盘利用，提升系统性能；基于行导向的push策略，选择性加载活跃边，避免无用磁盘数据的加载和磁盘读写浪费；基于列导向的pull策略，加载全部的图数据到内存中以确保磁盘的顺序访问，极大降低磁盘读写的开销。
-
公开(公告)号：CN109254844A
公开(公告)日：2019-01-22
申请号：CN201810836244.1
申请日：2018-07-26
Applicant: 华中科技大学
Abstract: 本发明公开了一种大规模图的分布式三角形计算方法，包括：根据计算集群中单个计算节点的可用内存容量划分待处理的大规模图，使得至多一个子图的大小小于单个计算节点的可用内存容量，而其余子图的大小均等于单个计算节点的可用内存容量；根据子图的大小为每一个子图分配计算节点；对于任意一个子图，将其分别发送至分配给该子图的每一个计算节点上；由所有计算节点执行分布式三角形计算，收集并处理分布式三角形计算的结果，从而实现大规模图的分布式三角形计算。本发明能够有效减少计算节点间传递的消息数量，并实现计算节点级和进程级的负载均衡。
-
Patent Agency Ranking
公开(公告)号：CN109254725A
公开(公告)日：2019-01-22
申请号：CN201810838033.1
申请日：2018-07-26
Applicant: 华中科技大学
IPC: G06F3/06
Abstract: 本发明公开了一种基于子图构建的磁盘图处理方法及系统，包括：将图数据组织为双向边块结构；开始迭代图计算；加载图数据到内存中；通过高效的子图构建方法构建以顶点为中心的内存子图；对子图进行更新；将更新的图数据写回磁盘；判断是否达到收敛条件；结束迭代图计算。本发明提出的基于子图构建的磁盘图处理方法通过将子图构建过程中需要访问的顶点和边连续地组织在一起，确保在子图构建过程中内存访问局部性得到充分利用，很好地解决了现在磁盘图处理系统中的高子图构建开销问题，显著的提升了系统的整体性能。
-
公开(公告)号：CN105653204B
公开(公告)日：2018-12-07
申请号：CN201510988839.5
申请日：2015-12-24
Applicant: 华中科技大学
IPC: G06F3/06
Abstract: 本发明公开了一种基于磁盘的分布式图计算方法，该方法采用基于磁盘的分布式计算模型，用图分割算法将原始图分割成P个子图，通过N次迭代完成一个图算法作业，子图的一次执行为一个任务，共包括(P×N)个任务；一个任务包括(1)子图加载和构建；(2)子图的计算；(3)结果存储、向其它子图发送相关数据的步骤；本方法以流水的方式调度任务，通过任务之间的重叠执行，可隐藏系统执行过程中磁盘读写与通讯的时延，这种执行过程使整个系统的运行时间几乎缩短到计算时间，大大提高了系统的性能，面对不同规模的图，系统可始终保持极小的系统规模，从而大大节省系统的硬件成本。
-
公开(公告)号：CN109240600A
公开(公告)日：2019-01-18
申请号：CN201810816008.3
申请日：2018-07-24
Applicant: 华中科技大学
IPC: G06F3/06
Abstract: 本发明公开了基于混合更新策略的磁盘图处理方法，包括：(1)将图组织为入射子块—出射子块双重子块结构；(2)根据当前磁盘读写开销选择不同的更新策略，包括基于行导向的push策略和基于列导向的pull策略；(3)根据选择对图进行访问和顶点值进行更新；(4)判断是否达到收敛条件，若是，执行步骤(5)，否则，执行步骤(2)；(5)输出图的顶点值。本发明提供的混合更新策略，能够根据不同图的运行特征，自适应选择不同的更新策略，最大化磁盘利用，提升系统性能；基于行导向的push策略，选择性加载活跃边，避免无用磁盘数据的加载和磁盘读写浪费；基于列导向的pull策略，加载全部的图数据到内存中以确保磁盘的顺序访问，极大降低磁盘读写的开销。
-
公开(公告)号：CN109255090B
公开(公告)日：2021-08-03
申请号：CN201810921025.3
申请日：2018-08-14
Applicant: 华中科技大学
IPC: G06F16/958 , G06F16/901
Abstract: 本发明公开了一种web图的索引数据压缩方法，通过索引数据分块，将索引数据(度数和位移)分成包含数百到数千个节点的块之后，则大部分块中只包含低度数节点，此时这些块中的度数和位移差值通常都可以用一到两个字节存放，也就可以达到50％以上的索引数据压缩率(由之前的4个字节压缩到一到两个字节)提高了可压缩性；通过度数和位移的码字交叉存放，这种交叉存放使得同一个节点的度数和位移的码字以很高的概率位于在同一个高速缓存行里面，因此可以大大提高高速缓存命中率；通过定长编码实现真正的随机访问，定长编码使得节点的压缩后的索引数据的下标可以通过计算得出，并根据下标进行真正的随机访问，提高了解压速度。
-
公开(公告)号：CN109255090A
公开(公告)日：2019-01-22
申请号：CN201810921025.3
申请日：2018-08-14
Applicant: 华中科技大学
IPC: G06F16/958 , G06F16/901
Abstract: 本发明公开了一种web图的索引数据压缩方法，通过索引数据分块，将索引数据(度数和位移)分成包含数百到数千个节点的块之后，则大部分块中只包含低度数节点，此时这些块中的度数和位移差值通常都可以用一到两个字节存放，也就可以达到50％以上的索引数据压缩率(由之前的4个字节压缩到一到两个字节)提高了可压缩性；通过度数和位移的码字交叉存放，这种交叉存放使得同一个节点的度数和位移的码字以很高的概率位于在同一个高速缓存行里面，因此可以大大提高高速缓存命中率；通过定长编码实现真正的随机访问，定长编码使得节点的压缩后的索引数据的下标可以通过计算得出，并根据下标进行真正的随机访问，提高了解压速度。
-
-
-
-
-
-
-
-
-
Search Results
12
records
(took 0.019 seconds)
