-
公开(公告)号:CN109240600A
公开(公告)日:2019-01-18
申请号:CN201810816008.3
申请日:2018-07-24
Applicant: 华中科技大学
IPC: G06F3/06
Abstract: 本发明公开了基于混合更新策略的磁盘图处理方法,包括:(1)将图组织为入射子块—出射子块双重子块结构;(2)根据当前磁盘读写开销选择不同的更新策略,包括基于行导向的push策略和基于列导向的pull策略;(3)根据选择对图进行访问和顶点值进行更新;(4)判断是否达到收敛条件,若是,执行步骤(5),否则,执行步骤(2);(5)输出图的顶点值。本发明提供的混合更新策略,能够根据不同图的运行特征,自适应选择不同的更新策略,最大化磁盘利用,提升系统性能;基于行导向的push策略,选择性加载活跃边,避免无用磁盘数据的加载和磁盘读写浪费;基于列导向的pull策略,加载全部的图数据到内存中以确保磁盘的顺序访问,极大降低磁盘读写的开销。
-
公开(公告)号:CN108063737B
公开(公告)日:2020-09-08
申请号:CN201711178994.6
申请日:2017-11-23
Applicant: 华中科技大学
IPC: H04L12/931 , G06F9/455
Abstract: 本发明公开了一种FCoE存储区域网读请求处理方法及系统,包括:当接收的网络包是FCoE读请求网络包时,查看Exchange ID映射表中是否存在未被使用的物理网卡Exchange ID,若存在未被使用的物理网卡Exchange ID,将该FCoE网络包中原Exchange ID记录在Exchange ID映射表中,并用将未被使用的物理网卡Exchange ID替换FCoE网络包中的Exchange ID字段,当接收的网络包是FCoE读完成网络包时,若该FCoE读完成网络包由DDP I/O的方式执行,查看Exchange ID映射表,将该FCoE读完成网络包中Exchange ID字段替换为原Exchange ID。本发明使得虚拟机通过虚拟网卡访问FCoE存储区域网时,可以使用物理网卡的DDP I/O功能。
-
公开(公告)号:CN109254725B
公开(公告)日:2020-05-19
申请号:CN201810838033.1
申请日:2018-07-26
Applicant: 华中科技大学
IPC: G06F3/06
Abstract: 本发明公开了一种基于子图构建的磁盘图处理方法及系统,包括:将图数据组织为双向边块结构;开始迭代图计算;加载图数据到内存中;通过高效的子图构建方法构建以顶点为中心的内存子图;对子图进行更新;将更新的图数据写回磁盘;判断是否达到收敛条件;结束迭代图计算。本发明提出的基于子图构建的磁盘图处理方法通过将子图构建过程中需要访问的顶点和边连续地组织在一起,确保在子图构建过程中内存访问局部性得到充分利用,很好地解决了现在磁盘图处理系统中的高子图构建开销问题,显著的提升了系统的整体性能。
-
公开(公告)号:CN108063737A
公开(公告)日:2018-05-22
申请号:CN201711178994.6
申请日:2017-11-23
Applicant: 华中科技大学
IPC: H04L12/931 , G06F9/455
Abstract: 本发明公开了一种FCoE存储区域网读请求处理方法及系统,包括:当接收的网络包是FCoE读请求网络包时,查看Exchange ID映射表中是否存在未被使用的物理网卡Exchange ID,若存在未被使用的物理网卡Exchange ID,将该FCoE网络包中原Exchange ID记录在Exchange ID映射表中,并用将未被使用的物理网卡Exchange ID替换FCoE网络包中的Exchange ID字段,当接收的网络包是FCoE读完成网络包时,若该FCoE读完成网络包由DDP I/O的方式执行,查看Exchange ID映射表,将该FCoE读完成网络包中Exchange ID字段替换为原Exchange ID。本发明使得虚拟机通过虚拟网卡访问FCoE存储区域网时,可以使用物理网卡的DDP I/O功能。
-
公开(公告)号:CN105590321B
公开(公告)日:2018-12-28
申请号:CN201510988695.3
申请日:2015-12-24
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于块的子图构建及分布式图处理方法,其子图构建方法,包括图分割、对子图中的顶点重新贴标签、将区间与数据片关联、分块和构建子图的步骤;采用启发式的、轻量级的SGP方法进行图分割,采用用户定义的启发式函数把顶点按顺序指派到P个子图,具有性能高,边的切割率较低的特点,并且可以兼顾子图工作负载平衡问题;其分布式图处理系统,块分割之后,子图之间以整个内存块为单位进行通信;与现有技术的细粒度通讯方式相比,本发明的基于内存块的数据交换,可以充分利用网络带宽,提高网络的利用率,降低通讯时间。
-
公开(公告)号:CN105590321A
公开(公告)日:2016-05-18
申请号:CN201510988695.3
申请日:2015-12-24
Applicant: 华中科技大学
CPC classification number: H04L67/10
Abstract: 本发明公开了一种基于块的子图构建及分布式图处理方法,其子图构建方法,包括图分割、对子图中的顶点重新贴标签、将区间与数据片关联、分块和构建子图的步骤;采用启发式的、轻量级的SGP方法进行图分割,采用用户定义的启发式函数把顶点按顺序指派到P个子图,具有性能高,边的切割率较低的特点,并且可以兼顾子图工作负载平衡问题;其分布式图处理系统,块分割之后,子图之间以整个内存块为单位进行通信;与现有技术的细粒度通讯方式相比,本发明的基于内存块的数据交换,可以充分利用网络带宽,提高网络的利用率,降低通讯时间。
-
公开(公告)号:CN105653204A
公开(公告)日:2016-06-08
申请号:CN201510988839.5
申请日:2015-12-24
Applicant: 华中科技大学
IPC: G06F3/06
CPC classification number: G06F3/061 , G06F3/0659 , G06F3/0689
Abstract: 本发明公开了一种基于磁盘的分布式图计算方法,该方法采用基于磁盘的分布式计算模型,用图分割算法将原始图分割成P个子图,通过N次迭代完成一个图算法作业,子图的一次执行为一个任务,共包括(P×N)个任务;一个任务包括(1)子图加载和构建;(2)子图的计算;(3)结果存储、向其它子图发送相关数据的步骤;本方法以流水的方式调度任务,通过任务之间的重叠执行,可隐藏系统执行过程中磁盘读写与通讯的时延,这种执行过程使整个系统的运行时间几乎缩短到计算时间,大大提高了系统的性能,面对不同规模的图,系统可始终保持极小的系统规模,从而大大节省系统的硬件成本。
-
公开(公告)号:CN109240600B
公开(公告)日:2020-05-19
申请号:CN201810816008.3
申请日:2018-07-24
Applicant: 华中科技大学
IPC: G06F3/06
Abstract: 本发明公开了基于混合更新策略的磁盘图处理方法,包括:(1)将图组织为入射子块—出射子块双重子块结构;(2)根据当前磁盘读写开销选择不同的更新策略,包括基于行导向的push策略和基于列导向的pull策略;(3)根据选择对图进行访问和顶点值进行更新;(4)判断是否达到收敛条件,若是,执行步骤(5),否则,执行步骤(2);(5)输出图的顶点值。本发明提供的混合更新策略,能够根据不同图的运行特征,自适应选择不同的更新策略,最大化磁盘利用,提升系统性能;基于行导向的push策略,选择性加载活跃边,避免无用磁盘数据的加载和磁盘读写浪费;基于列导向的pull策略,加载全部的图数据到内存中以确保磁盘的顺序访问,极大降低磁盘读写的开销。
-
公开(公告)号:CN109254725A
公开(公告)日:2019-01-22
申请号:CN201810838033.1
申请日:2018-07-26
Applicant: 华中科技大学
IPC: G06F3/06
Abstract: 本发明公开了一种基于子图构建的磁盘图处理方法及系统,包括:将图数据组织为双向边块结构;开始迭代图计算;加载图数据到内存中;通过高效的子图构建方法构建以顶点为中心的内存子图;对子图进行更新;将更新的图数据写回磁盘;判断是否达到收敛条件;结束迭代图计算。本发明提出的基于子图构建的磁盘图处理方法通过将子图构建过程中需要访问的顶点和边连续地组织在一起,确保在子图构建过程中内存访问局部性得到充分利用,很好地解决了现在磁盘图处理系统中的高子图构建开销问题,显著的提升了系统的整体性能。
-
公开(公告)号:CN105653204B
公开(公告)日:2018-12-07
申请号:CN201510988839.5
申请日:2015-12-24
Applicant: 华中科技大学
IPC: G06F3/06
Abstract: 本发明公开了一种基于磁盘的分布式图计算方法,该方法采用基于磁盘的分布式计算模型,用图分割算法将原始图分割成P个子图,通过N次迭代完成一个图算法作业,子图的一次执行为一个任务,共包括(P×N)个任务;一个任务包括(1)子图加载和构建;(2)子图的计算;(3)结果存储、向其它子图发送相关数据的步骤;本方法以流水的方式调度任务,通过任务之间的重叠执行,可隐藏系统执行过程中磁盘读写与通讯的时延,这种执行过程使整个系统的运行时间几乎缩短到计算时间,大大提高了系统的性能,面对不同规模的图,系统可始终保持极小的系统规模,从而大大节省系统的硬件成本。
-
-
-
-
-
-
-
-
-