一种基于并发改进的大规模图数据流式划分方法及系统

    公开(公告)号:CN104954477B

    公开(公告)日:2018-06-12

    申请号:CN201510348875.5

    申请日:2015-06-23

    Abstract: 本发明公开了一种基于并发改进的大规模图数据流式划分方法及系统,属于计算机存储领域。本发明包括:工作节点登记同步;代理服务器发送顶点信息;工作节点返回梯度信息;代理服务器发送最优分区信息;工作节点保存分区结果。本发明通过一次发送多个顶点及其相关信息的方法,解决了现有流式图划分方法一次网络时延处理一个顶点的问题,减少网络时延对系统的影响,提高了图划分效率。

    一种基于I/O去重的多任务图处理方法及系统

    公开(公告)号:CN106095552B

    公开(公告)日:2019-06-28

    申请号:CN201610399043.0

    申请日:2016-06-07

    Abstract: 本发明公开了一种基于I/O去重的多任务图处理方法及其系统,属于计算机存储领域。该方法采用专用I/O线程通过异步方式从外存中读取图数据,并加载到内存的共享缓冲区;并行执行图处理任务,在任务执行过程中从共享缓冲区访问图数据。本发明通过提供统一访问外存图数据的方法实现了I/O重用,通过共享缓存的设计协调了并行任务的执行速度,解决了当前外存模式图处理系统在处理并发多任务时,请求图数据出现I/O冲突和数据重复的问题,优化了并行任务的数据等待时间。

    一种基于广度优先遍历的图处理优化方法

    公开(公告)号:CN104915427B

    公开(公告)日:2018-01-05

    申请号:CN201510326328.7

    申请日:2015-06-15

    Abstract: 本发明公开了一种基于广度优先遍历(BFS,Breadth First Search)的图处理优化方法,属于计算机存储及数据处理技术领域,解决现有基于外部存储器的大规模图处理系统在访问图数据时产生大量外存I/O,严重影响文件缓存命中率,削弱I/O性能的问题,从而提高图处理系统的效率。本发明在不改变图处理模型和用户操作复杂度的前提下,以充分利用外存储设备顺序I/O性能和提高系统文件缓存命中率为目标,提出了针对图遍历类型应用进行I/O优化的BFS树数据布局方案。通过对不同来源、类型、尺寸的图数据集进行数据布局优化,图处理系统的效率有明显提升。

    一种基于I/O去重的多任务图处理方法及系统

    公开(公告)号:CN106095552A

    公开(公告)日:2016-11-09

    申请号:CN201610399043.0

    申请日:2016-06-07

    CPC classification number: G06F9/4806 G06F16/51

    Abstract: 本发明公开了一种基于I/O去重的多任务图处理方法及其系统,属于计算机存储领域。该方法采用专用I/O线程通过异步方式从外存中读取图数据,并加载到内存的共享缓冲区;并行执行图处理任务,在任务执行过程中从共享缓冲区访问图数据。本发明通过提供统一访问外存图数据的方法实现了I/O重用,通过共享缓存的设计协调了并行任务的执行速度,解决了当前外存模式图处理系统在处理并发多任务时,请求图数据出现I/O冲突和数据重复的问题,优化了并行任务的数据等待时间。

    一种基于度特征替换策略的流式图抽样方法

    公开(公告)号:CN105005586A

    公开(公告)日:2015-10-28

    申请号:CN201510354896.8

    申请日:2015-06-24

    CPC classification number: G06F16/51

    Abstract: 本发明属于流式图数据抽样领域,尤其涉及一种度特征替换策略的抽样方法。包括:S1.流式边e=(u,v)到达,判断是否会产生点替换,如果会发生点替换,则执行S2,否则执行S7;S2.根据抽样子图Gs中点的度特性,确定点替换概率函数f(di),di∈D,D为子图中点的度分布集合;根据概率函数计算点vi被替换的概率得到子图中点替换概率集合S3.采用遗传算法中的选择算法select(P),其中P为S2中计算得到的点替换概率集合,选取待替换的点r;S4.根据替换原则,判断S3选择的点r是否符合要求,若符合则转至S5;否则转至S3;S5.从Vs中删除r,从Es中删除与r相关联的边;S6.从Vs中删除独立点;S7.把新增点和边e加入子图Gs中。本发明方法得到的抽样子图与原图的特性相似度高。

    一种基于广度优先遍历的图处理优化方法

    公开(公告)号:CN104915427A

    公开(公告)日:2015-09-16

    申请号:CN201510326328.7

    申请日:2015-06-15

    CPC classification number: G06F17/3028 G06F17/30091

    Abstract: 本发明公开了一种基于广度优先遍历(BFS,Breadth First Search)的图处理优化方法,属于计算机存储及数据处理技术领域,解决现有基于外部存储器的大规模图处理系统在访问图数据时产生大量外存I/O,严重影响文件缓存命中率,削弱I/O性能的问题,从而提高图处理系统的效率。本发明在不改变图处理模型和用户操作复杂度的前提下,以充分利用外存储设备顺序I/O性能和提高系统文件缓存命中率为目标,提出了针对图遍历类型应用进行I/O优化的BFS树数据布局方案。通过对不同来源、类型、尺寸的图数据集进行数据布局优化,图处理系统的效率有明显提升。

Patent Agency Ranking