一种基于多级调度的纠删码系统恢复方法及系统

    公开(公告)号:CN113504875B

    公开(公告)日:2023-08-01

    申请号:CN202110742243.2

    申请日:2021-06-24

    Abstract: 本发明提出一种基于多级调度的纠删码系统恢复方法及系统,基于水平码的数据布局方式,提出基于数据读取、网络调度和计算调度的多级调度方法,通过动态资源窗口机制分别控制各个阶段的负载均衡,数据读取和网络调度形成生产者‑消费者模型,通过令牌机制保证数据读取阶段的数据能够完全被网络传输和数据恢复使用,提高磁盘I/O的利用率。基于水平‑垂直码的数据布局方式,提出基于节点间和节点内的恢复调度,调度节点间和节点内的数据恢复过程。

    一种基于多级调度的纠删码系统恢复方法及系统

    公开(公告)号:CN113504875A

    公开(公告)日:2021-10-15

    申请号:CN202110742243.2

    申请日:2021-06-24

    Abstract: 本发明提出一种基于多级调度的纠删码系统恢复方法及系统,基于水平码的数据布局方式,提出基于数据读取、网络调度和计算调度的多级调度方法,通过动态资源窗口机制分别控制各个阶段的负载均衡,数据读取和网络调度形成生产者‑消费者模型,通过令牌机制保证数据读取阶段的数据能够完全被网络传输和数据恢复使用,提高磁盘I/O的利用率。基于水平‑垂直码的数据布局方式,提出基于节点间和节点内的恢复调度,调度节点间和节点内的数据恢复过程。

    分布式文件系统中的元数据快照存储和访问方法

    公开(公告)号:CN104933133B

    公开(公告)日:2018-09-07

    申请号:CN201510325206.6

    申请日:2015-06-12

    Abstract: 本发明提供一种文件系统快照存储方法,文件系统包括具有快照标记的目录树,与该目录树相对应的快照统计文件,以及与该目录树的各个快照时间戳相对应的快照文件;所述快照存储方法包括:1)创建新快照后,使得所述快照统计文件记录下按照快照时间戳顺序排列的各个快照文件的索引;2)维护各个快照文件,使得每个所述快照文件中记录起始有效时间小于等于其时间戳,且大于前一快照时间戳的所有元数据,并且同一所述快照文件中所记录的元数据按照其结束有效时间排序。本发明还提供了相应的文件系统快照访问方法。与传统的增量快照技术相比,本发明在保留存储空间开销较小优势的前提下,显著减小了快照访问的开销,提高了快照访问的效率。

    一种机群文件系统的内存元数据管理方法

    公开(公告)号:CN101354726A

    公开(公告)日:2009-01-28

    申请号:CN200810222479.8

    申请日:2008-09-17

    Abstract: 本发明公开一种机群文件系统的元数据的管理方法,其中,所述文件系统划分为多个元数据分区,每个所述元数据分区划分为多个维护元数据单元信息的元数据块,所述方法包括:客户端解析所产生的元数据请求,获取所述元数据所属的元数据分区,向所述元数据分区对应的元数据服务器发出请求;所述元数据服务器根据所接收的所述元数据请求中的类型值,确定所述请求的类型;所述元数据服务器根据所述请求的类型,查询元数据块所在的数据结构,对元数据进行增加、定位或者修改处理。本发明采用将元数据全部驻留内存的方式来提高元数据处理能力,根据内存访问特点对元数据组织管理,能够高效利用内存空间,提高元数据处理性能。

    双层元数据处理系统及方法

    公开(公告)号:CN101247417A

    公开(公告)日:2008-08-20

    申请号:CN200810101521.0

    申请日:2008-03-07

    Inventor: 邢晶 唐荣锋 熊劲

    Abstract: 本发明涉及计算机存储系统体系结构领域,公开了一种双层元数据处理系统及方法。在本发明中,通过在元数据服务器中设置元数据处理服务器模块和元数据对象存储服务器模块,将对元数据进行的读取和修改操作请求进行了合理的分流,使得不同类型的元数据操作请求在不同的层次上进行处理,从而能够针对元数据操作请求的类型进行优化,同时,在处理读取元数据的操作请求时,可以根据请求创建多个元数据复本,以平衡对读取元数据操作的访问负载。

    一种针对基因数据的取样字典树索引的压缩方法和系统

    公开(公告)号:CN109450452A

    公开(公告)日:2019-03-08

    申请号:CN201811427459.4

    申请日:2018-11-27

    Abstract: 本发明涉及一种针对基因数据的取样字典树索引的压缩方法和系统,包括:用户上传待压缩的基因数据,该基因数据包括:标识、序列和质量分值;提取该序列中预设长度的子串到字典树索引结构中进行查找,若该字典树索引结构中具有该子串,则将该子串压缩为该子串在该字典树索引结构中的位置、长度,作为该子串的索引值,否则将该子串加入该字典树索引结构,记录该子串在该字典树索引结构中的位置、长度作为该子串的索引值。本发明提高了序列的压缩效果,并使用取样索引和根据质量分值高低决定是否加入到索引结构的策略来降低字典树的内存占用空间。

    一种机群文件系统的内存元数据管理方法

    公开(公告)号:CN101354726B

    公开(公告)日:2010-09-29

    申请号:CN200810222479.8

    申请日:2008-09-17

    Abstract: 本发明公开一种机群文件系统的元数据的管理方法,其中,所述文件系统划分为多个元数据分区,每个所述元数据分区划分为多个维护元数据单元信息的元数据块,所述方法包括:客户端解析所产生的元数据请求,获取所述元数据所属的元数据分区,向所述元数据分区对应的元数据服务器发出请求;所述元数据服务器根据所接收的所述元数据请求中的类型值,确定所述请求的类型;所述元数据服务器根据所述请求的类型,查询元数据块所在的数据结构,对元数据进行增加、定位或者修改处理。本发明采用将元数据全部驻留内存的方式来提高元数据处理能力,根据内存访问特点对元数据组织管理,能够高效利用内存空间,提高元数据处理性能。

Patent Agency Ranking