一种基于纠删码的数据块重建方法

    公开(公告)号:CN104461781A

    公开(公告)日:2015-03-25

    申请号:CN201410717059.2

    申请日:2014-12-01

    Abstract: 一种基于纠删码的数据块重建方法,属于计算机存储技术领域,解决现有数据块修复方法需要传输大量数据的问题,以减少重建数据的传输量。本发明包括数据分块步骤、构造生成矩阵G步骤、生成校验块步骤、检查数据块状态步骤、构造修复矩阵步骤和修复数据块步骤。本发明将原始文件分为k个数据块,将每个数据块继续等分为r个数据片;k个数据块编码为m个校验块,每个校验块也包含r个校验片。重建任意一个数据块时,从剩余的每个数据块的r个数据片和校验块的r个校验片中取r/m片(该方法保证r被m整除),从而重建一个数据块只需要总量(m+k-1)r/m的数据片,相对里德-所罗门编码重建一个数据块的数据量,有了明显的减少。

    一种基于广度优先遍历的图处理优化方法

    公开(公告)号:CN104915427B

    公开(公告)日:2018-01-05

    申请号:CN201510326328.7

    申请日:2015-06-15

    Abstract: 本发明公开了一种基于广度优先遍历(BFS,Breadth First Search)的图处理优化方法,属于计算机存储及数据处理技术领域,解决现有基于外部存储器的大规模图处理系统在访问图数据时产生大量外存I/O,严重影响文件缓存命中率,削弱I/O性能的问题,从而提高图处理系统的效率。本发明在不改变图处理模型和用户操作复杂度的前提下,以充分利用外存储设备顺序I/O性能和提高系统文件缓存命中率为目标,提出了针对图遍历类型应用进行I/O优化的BFS树数据布局方案。通过对不同来源、类型、尺寸的图数据集进行数据布局优化,图处理系统的效率有明显提升。

    一种基于纠删码的数据块重建方法

    公开(公告)号:CN104461781B

    公开(公告)日:2017-10-31

    申请号:CN201410717059.2

    申请日:2014-12-01

    Abstract: 一种基于纠删码的数据块重建方法,属于计算机存储技术领域,解决现有数据块修复方法需要传输大量数据的问题,以减少重建数据的传输量。本发明包括数据分块步骤、构造生成矩阵G步骤、生成校验块步骤、检查数据块状态步骤、构造修复矩阵步骤和修复数据块步骤。本发明将原始文件分为k个数据块,将每个数据块继续等分为r个数据片;k个数据块编码为m个校验块,每个校验块也包含r个校验片。重建任意一个数据块时,从剩余的每个数据块的r个数据片和校验块的r个校验片中取r/m片(该方法保证r被m整除),从而重建一个数据块只需要总量(m+k‑1)r/m的数据片,相对里德‑所罗门编码重建一个数据块的数据量,有了明显的减少。

    一种基于度特征替换策略的流式图抽样方法

    公开(公告)号:CN105005586A

    公开(公告)日:2015-10-28

    申请号:CN201510354896.8

    申请日:2015-06-24

    CPC classification number: G06F16/51

    Abstract: 本发明属于流式图数据抽样领域,尤其涉及一种度特征替换策略的抽样方法。包括:S1.流式边e=(u,v)到达,判断是否会产生点替换,如果会发生点替换,则执行S2,否则执行S7;S2.根据抽样子图Gs中点的度特性,确定点替换概率函数f(di),di∈D,D为子图中点的度分布集合;根据概率函数计算点vi被替换的概率得到子图中点替换概率集合S3.采用遗传算法中的选择算法select(P),其中P为S2中计算得到的点替换概率集合,选取待替换的点r;S4.根据替换原则,判断S3选择的点r是否符合要求,若符合则转至S5;否则转至S3;S5.从Vs中删除r,从Es中删除与r相关联的边;S6.从Vs中删除独立点;S7.把新增点和边e加入子图Gs中。本发明方法得到的抽样子图与原图的特性相似度高。

    一种基于广度优先遍历的图处理优化方法

    公开(公告)号:CN104915427A

    公开(公告)日:2015-09-16

    申请号:CN201510326328.7

    申请日:2015-06-15

    CPC classification number: G06F17/3028 G06F17/30091

    Abstract: 本发明公开了一种基于广度优先遍历(BFS,Breadth First Search)的图处理优化方法,属于计算机存储及数据处理技术领域,解决现有基于外部存储器的大规模图处理系统在访问图数据时产生大量外存I/O,严重影响文件缓存命中率,削弱I/O性能的问题,从而提高图处理系统的效率。本发明在不改变图处理模型和用户操作复杂度的前提下,以充分利用外存储设备顺序I/O性能和提高系统文件缓存命中率为目标,提出了针对图遍历类型应用进行I/O优化的BFS树数据布局方案。通过对不同来源、类型、尺寸的图数据集进行数据布局优化,图处理系统的效率有明显提升。

    一种基于并发改进的大规模图数据流式划分方法及系统

    公开(公告)号:CN104954477B

    公开(公告)日:2018-06-12

    申请号:CN201510348875.5

    申请日:2015-06-23

    Abstract: 本发明公开了一种基于并发改进的大规模图数据流式划分方法及系统,属于计算机存储领域。本发明包括:工作节点登记同步;代理服务器发送顶点信息;工作节点返回梯度信息;代理服务器发送最优分区信息;工作节点保存分区结果。本发明通过一次发送多个顶点及其相关信息的方法,解决了现有流式图划分方法一次网络时延处理一个顶点的问题,减少网络时延对系统的影响,提高了图划分效率。

Patent Agency Ranking