一种对文件内容与元数据进行组织管理的方法

    公开(公告)号:CN102693286B

    公开(公告)日:2014-03-26

    申请号:CN201210144951.7

    申请日:2012-05-10

    Abstract: 本发明属于计算机数据存储领域,尤其涉及一种对文件内容与元数据进行组织管理的方法。该方法在文件内部实现元数据的自组织与自我管理,使文件具有自描述性,消除了对特定格式与数据库等的信赖。相比较于原有文件,附加了文件结构描述块和文件属性块。通过用户发送文件访问请求,找到对应的目标文件,通过抽取文件结构描述块块信息,根据用户的选择,根据文件结构描述块块信息中的数据块位图和属性块位图,对文件内容或是对文件属性进行读写。该方法可以方便的支持属性扩展与语义关联,为信息的检索提供支持,支持语义结构,从而可以实现对海量非结构化数据的高效文件检索。

    一种纠删码集群中失效节点的重构方法

    公开(公告)号:CN103645861A

    公开(公告)日:2014-03-19

    申请号:CN201310651547.3

    申请日:2013-12-03

    Abstract: 本发明公开了一种纠删码存储集群中失效节点的重构方法,包括:1)有节点失效时,根据节点的负载和网络带宽,初始化所有存活节点的权重值;2)选取权重值最大的K个存活节点,作为恢复该失效节点中的数据块读取分布,其中K为存储集群中数据节点的数目;3)将上述K个存活节点的权重值分别减1;4)判断权值大于0的节点数量是否小于K,若是则转到步骤5),若否则转到步骤2);5)根据所有数据块读取分布,解码出失效节点上对应偏移地址的数据块中的数据。本发明根据权重值选择重构失效节点的数据节点,减少了负载不均衡时的响应时间;同时降低了纠删码存储集群中各个节点因频繁的超负载而崩溃的概率,提高整个纠删码存储集群的可靠性。

    垂直RAID-6编码中单盘重构的方法

    公开(公告)号:CN102419697B

    公开(公告)日:2013-12-18

    申请号:CN201110340618.9

    申请日:2011-11-02

    Abstract: 本发明公开了一种垂直RAID-6编码中单盘重构的方法,包括步骤:确定磁盘阵列中失效磁盘的磁盘号i和总磁盘数,并设置k=0,S0=i,用第i个磁盘的校验块所在校验链中除校验块之外的所有数据块进行异或运算,以恢复校验块,第i个磁盘中的第k个数据块用(xik,yik)表示,第i个磁盘中的校验块用i表示,设置k=k+1,j=0,判断(S0+xik)除以(总磁盘数-1)的余数是否不为0,若(S0+xik)除以(总磁盘数-1)的余数不为0,则设置j=j+1,判断j除以(总磁盘数-1)的余数是否与k除以(总磁盘数-1)的余数相同,若j除以(总磁盘数-1)的余数与k除以(总磁盘数-1)的余数相同,则设置Sk=xik。本发明的方法能够平衡各磁盘I/O负载,提高重构速度,并大大提高单盘重构的性能。

    一种纠删码存储中负载感知的读优化方法

    公开(公告)号:CN103176865A

    公开(公告)日:2013-06-26

    申请号:CN201310077285.4

    申请日:2013-03-12

    Abstract: 本发明公开了一种纠删码存储中负载感知的读优化方法,包括:初始化纠删码存储集群中所有节点的节点负载权重值为零,从用户接收应用访问请求,从纠删码存储集群的数据节点中任选一个数据节点,判断该数据节点是否在应用访问请求操作对应的节点号内,如果是则判断该数据节点的节点负载权重值是否大于或等于预定的阈值,若是则将纠删码存储集群中所有节点的节点负载权重值按照从小到大的顺序进行排列,读取前K个节点对应的偏移地址的分块数据,并获取读取该分块数据各自所花费的时间,并利用RS解码算法对分块数据进行解码操作。本方法能够解决传统方法在各节点负载相差很大时存在的应用访问请求的响应时间长、纠删码存储集群的可靠性低的问题。

    一种数据恢复方法
    75.
    发明授权

    公开(公告)号:CN102193845B

    公开(公告)日:2012-12-19

    申请号:CN201110142687.9

    申请日:2011-05-30

    Abstract: 本发明提供了一种数据恢复方法,该方法首先对文件进行一次预恢复,即只对文件过去版本的间隔性恢复,用户依据预恢复出的文件确定一个或多个中心版本,系统以选定的中心版本为中心,向前向后恢复一定数量的连续的版本,再在这些版本中确定一个精确的版本,即与预先设定的内容或属性相一致的最接近的文件版本,以此版本为全系统的恢复点进行全系统的完整恢复。该方法能使管理员更快更准确的确定系统恢复时间点,有效的减少系统的恢复时间,提高恢复效率,减少损失。

    一种双盘容错磁盘阵列中单盘重构的方法

    公开(公告)号:CN102103533A

    公开(公告)日:2011-06-22

    申请号:CN201110045773.8

    申请日:2011-02-25

    Abstract: 本发明提供了一种双盘容错磁盘阵列中单盘重构的方法,该方法首先选取第一个失效元素所在的任意一条校验链,利用该校验链重构第一个失效元素;之后再选取下一个失效元素所在的一条校验链,且该校验链与所有已用于重构失效元素的校验链具有最多交点,利用该校验链重构失效元素,如此反复,直至重构出所有失效元素。在传统的单盘重构过程中,所有失效的元素都使用同一类型校验链来重构,几乎所有未失效的元素都要被读取。本发明所述的方法通过使用不同类型的校验链来重构,通过重复利用相同的元素于不同校验链来重构,使得很多未失效的元素不必被读取,大大减少了磁盘I/O量,提高了数据恢复速度,提供了更好的系统性能。

    一种面向用户的动态分配存储资源的方法

    公开(公告)号:CN101938516A

    公开(公告)日:2011-01-05

    申请号:CN201010270006.2

    申请日:2010-09-02

    Abstract: 本发明公开了一种面向用户的动态分配存储资源的方法,该方法可以动态增加存储池,同时可以提供给客户端用户要求的大小的存储空间。该方法包括:(1)存储资源代理向存储资源管理器发送物理卷集合信息;(2)存储资源管理器更新存储资源代理信息链表,周期性地检测存储资源代理的心跳;(3)客户端代理根据用户需求,向存储资源服务器发送物理卷申请信息或是物理卷释放信息;(4)存储资源管理器接收客户端代理的信息:a.如果是物理卷申请信息,则自动为客户端代理分配物理卷,客户端代理自动向分配的物理卷建立起ISCSI连接,以获得存储资源;b.如果是物理卷释放信息,则回收物理卷。本发明的优点在于存储资源管理器能够根据用户需求,自动为客户端代理分配或回收存储资源,不需管理员干预。

    感知热度与风险的纠删码内存恢复方法、设备及内存系统

    公开(公告)号:CN111459710B

    公开(公告)日:2021-06-11

    申请号:CN202010229943.7

    申请日:2020-03-27

    Abstract: 本发明公开了一种感知热度与风险的纠删码内存恢复方法、设备及内存系统,属于计算机存储技术领域,包括:在发生节点故障时,统计预设时间窗口内各分块的访问频次,以设置各分块热度等级,访问频次越多,热度等级越高;统计各条带内的失效的数据分块数和总的失效分块数,以设置各条带的风险等级;失效分块数越多,风险等级越高;总的失效分块数相同的情况下,失效的数据分块数越多,风险等级越高;将条带的风险等级作为其中分块的风险等级,结合热度等级和风险等级设置各失效分块的恢复优先级,热度等级越高、风险等级越高,恢复优先级越高;按照恢复优先级从高到低的顺序依次对失效分块进行恢复。本发明能够提高数据的可靠性、可用性和可服务性。

    感知热度与风险的纠删码内存恢复方法、设备及内存系统

    公开(公告)号:CN111459710A

    公开(公告)日:2020-07-28

    申请号:CN202010229943.7

    申请日:2020-03-27

    Abstract: 本发明公开了一种感知热度与风险的纠删码内存恢复方法、设备及内存系统,属于计算机存储技术领域,包括:在发生节点故障时,统计预设时间窗口内各分块的访问频次,以设置各分块热度等级,访问频次越多,热度等级越高;统计各条带内的失效的数据分块数和总的失效分块数,以设置各条带的风险等级;失效分块数越多,风险等级越高;总的失效分块数相同的情况下,失效的数据分块数越多,风险等级越高;将条带的风险等级作为其中分块的风险等级,结合热度等级和风险等级设置各失效分块的恢复优先级,热度等级越高、风险等级越高,恢复优先级越高;按照恢复优先级从高到低的顺序依次对失效分块进行恢复。本发明能够提高数据的可靠性、可用性和可服务性。

    一种基于局部性优先的RS纠删码数据布局方法及系统

    公开(公告)号:CN106951340B

    公开(公告)日:2019-07-09

    申请号:CN201710149372.4

    申请日:2017-03-14

    Abstract: 本发明公开了一种基于局部性优先的RS纠删码数据布局方法及系统,本发明方法在每轮构建条带时,由包含待选分块最多的节点依次提供待选分块构建条带所需的数据分块,并将计算所得校验分块分开迁移至未提供待选分块的节点,若计算校验分块的待选分块数量不够时,则依次从包含待选分块最多的节点中迁移一个待选分块到本轮不包含待选分块的节点中,其中所述待选分块为还未参与构建条带的数据分块。本发明还实现了一种基于局部性优先的RS纠删码数据布局系统。采用本发明技术方案能够实现构建条带的过程中节点之间的网络传输量最少,除此之外还能实现同一条带的数据分块和校验分块均匀分布在集群的每个节点中,因此可提升集群系统的整体性能。

Patent Agency Ranking