基于点信息同步的动态流式图并行抽样方法

    公开(公告)号:CN106100921B

    公开(公告)日:2020-06-02

    申请号:CN201610406969.8

    申请日:2016-06-08

    Abstract: 本发明提供一种基于点信息同步的动态流式图并行抽样方法,具体为:S1.流式边到达滑动窗口,判断窗口是否满,如果不满则执行S1,否则执行S2;S2.将滑动窗口中的边按序随机分配给多个抽样器;S3.多个抽样器对被分配的边并行处理得到抽样子图;S4.读取抽样器的点集,去除重复的点,刷新全局点集合;S5.更新全局点推导的边集;S6.调整抽样目标点集数量;S7.如果未到设定的采集抽样子图时间点,更新滑动窗口,返回S1;否则执行S8;S8.根据每个抽样器的抽样结果合成抽样子图。本发明在快速获得抽样子图的同时,保证抽样子图与原图的特性相似度高,解决了动态流式图串行抽样算法处理时间长、不能满足实时性要求的问题。

    一种基于广度优先遍历的图处理优化方法

    公开(公告)号:CN104915427B

    公开(公告)日:2018-01-05

    申请号:CN201510326328.7

    申请日:2015-06-15

    Abstract: 本发明公开了一种基于广度优先遍历(BFS,Breadth First Search)的图处理优化方法,属于计算机存储及数据处理技术领域,解决现有基于外部存储器的大规模图处理系统在访问图数据时产生大量外存I/O,严重影响文件缓存命中率,削弱I/O性能的问题,从而提高图处理系统的效率。本发明在不改变图处理模型和用户操作复杂度的前提下,以充分利用外存储设备顺序I/O性能和提高系统文件缓存命中率为目标,提出了针对图遍历类型应用进行I/O优化的BFS树数据布局方案。通过对不同来源、类型、尺寸的图数据集进行数据布局优化,图处理系统的效率有明显提升。

    一种基于度特征替换策略的流式图抽样方法

    公开(公告)号:CN105005586A

    公开(公告)日:2015-10-28

    申请号:CN201510354896.8

    申请日:2015-06-24

    CPC classification number: G06F16/51

    Abstract: 本发明属于流式图数据抽样领域,尤其涉及一种度特征替换策略的抽样方法。包括:S1.流式边e=(u,v)到达,判断是否会产生点替换,如果会发生点替换,则执行S2,否则执行S7;S2.根据抽样子图Gs中点的度特性,确定点替换概率函数f(di),di∈D,D为子图中点的度分布集合;根据概率函数计算点vi被替换的概率得到子图中点替换概率集合S3.采用遗传算法中的选择算法select(P),其中P为S2中计算得到的点替换概率集合,选取待替换的点r;S4.根据替换原则,判断S3选择的点r是否符合要求,若符合则转至S5;否则转至S3;S5.从Vs中删除r,从Es中删除与r相关联的边;S6.从Vs中删除独立点;S7.把新增点和边e加入子图Gs中。本发明方法得到的抽样子图与原图的特性相似度高。

    一种基于广度优先遍历的图处理优化方法

    公开(公告)号:CN104915427A

    公开(公告)日:2015-09-16

    申请号:CN201510326328.7

    申请日:2015-06-15

    CPC classification number: G06F17/3028 G06F17/30091

    Abstract: 本发明公开了一种基于广度优先遍历(BFS,Breadth First Search)的图处理优化方法,属于计算机存储及数据处理技术领域,解决现有基于外部存储器的大规模图处理系统在访问图数据时产生大量外存I/O,严重影响文件缓存命中率,削弱I/O性能的问题,从而提高图处理系统的效率。本发明在不改变图处理模型和用户操作复杂度的前提下,以充分利用外存储设备顺序I/O性能和提高系统文件缓存命中率为目标,提出了针对图遍历类型应用进行I/O优化的BFS树数据布局方案。通过对不同来源、类型、尺寸的图数据集进行数据布局优化,图处理系统的效率有明显提升。

    基于点信息同步的动态流式图并行抽样方法

    公开(公告)号:CN106100921A

    公开(公告)日:2016-11-09

    申请号:CN201610406969.8

    申请日:2016-06-08

    Abstract: 本发明提供一种基于点信息同步的动态流式图并行抽样方法,具体为:S1.流式边到达滑动窗口,判断窗口是否满,如果不满则执行S1,否则执行S2;S2.将滑动窗口中的边按序随机分配给多个抽样器;S3.多个抽样器对被分配的边并行处理得到抽样子图;S4.读取抽样器的点集,去除重复的点,刷新全局点集合;S5.更新全局点推导的边集;S6.调整抽样目标点集数量;S7.如果未到设定的采集抽样子图时间点,更新滑动窗口,返回S1;否则执行S8;S8.根据每个抽样器的抽样结果合成抽样子图。本发明在快速获得抽样子图的同时,保证抽样子图与原图的特性相似度高,解决了动态流式图串行抽样算法处理时间长、不能满足实时性要求的问题。

    一种基于并发改进的大规模图数据流式划分方法及系统

    公开(公告)号:CN104954477B

    公开(公告)日:2018-06-12

    申请号:CN201510348875.5

    申请日:2015-06-23

    Abstract: 本发明公开了一种基于并发改进的大规模图数据流式划分方法及系统,属于计算机存储领域。本发明包括:工作节点登记同步;代理服务器发送顶点信息;工作节点返回梯度信息;代理服务器发送最优分区信息;工作节点保存分区结果。本发明通过一次发送多个顶点及其相关信息的方法,解决了现有流式图划分方法一次网络时延处理一个顶点的问题,减少网络时延对系统的影响,提高了图划分效率。

Patent Agency Ranking