-
公开(公告)号:CN113504875B
公开(公告)日:2023-08-01
申请号:CN202110742243.2
申请日:2021-06-24
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提出一种基于多级调度的纠删码系统恢复方法及系统,基于水平码的数据布局方式,提出基于数据读取、网络调度和计算调度的多级调度方法,通过动态资源窗口机制分别控制各个阶段的负载均衡,数据读取和网络调度形成生产者‑消费者模型,通过令牌机制保证数据读取阶段的数据能够完全被网络传输和数据恢复使用,提高磁盘I/O的利用率。基于水平‑垂直码的数据布局方式,提出基于节点间和节点内的恢复调度,调度节点间和节点内的数据恢复过程。
-
公开(公告)号:CN113504875A
公开(公告)日:2021-10-15
申请号:CN202110742243.2
申请日:2021-06-24
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提出一种基于多级调度的纠删码系统恢复方法及系统,基于水平码的数据布局方式,提出基于数据读取、网络调度和计算调度的多级调度方法,通过动态资源窗口机制分别控制各个阶段的负载均衡,数据读取和网络调度形成生产者‑消费者模型,通过令牌机制保证数据读取阶段的数据能够完全被网络传输和数据恢复使用,提高磁盘I/O的利用率。基于水平‑垂直码的数据布局方式,提出基于节点间和节点内的恢复调度,调度节点间和节点内的数据恢复过程。
-
公开(公告)号:CN104933133B
公开(公告)日:2018-09-07
申请号:CN201510325206.6
申请日:2015-06-12
Applicant: 中国科学院计算技术研究所
IPC: G06F17/30
Abstract: 本发明提供一种文件系统快照存储方法,文件系统包括具有快照标记的目录树,与该目录树相对应的快照统计文件,以及与该目录树的各个快照时间戳相对应的快照文件;所述快照存储方法包括:1)创建新快照后,使得所述快照统计文件记录下按照快照时间戳顺序排列的各个快照文件的索引;2)维护各个快照文件,使得每个所述快照文件中记录起始有效时间小于等于其时间戳,且大于前一快照时间戳的所有元数据,并且同一所述快照文件中所记录的元数据按照其结束有效时间排序。本发明还提供了相应的文件系统快照访问方法。与传统的增量快照技术相比,本发明在保留存储空间开销较小优势的前提下,显著减小了快照访问的开销,提高了快照访问的效率。
-
公开(公告)号:CN101354726A
公开(公告)日:2009-01-28
申请号:CN200810222479.8
申请日:2008-09-17
Applicant: 中国科学院计算技术研究所
IPC: G06F17/30
Abstract: 本发明公开一种机群文件系统的元数据的管理方法,其中,所述文件系统划分为多个元数据分区,每个所述元数据分区划分为多个维护元数据单元信息的元数据块,所述方法包括:客户端解析所产生的元数据请求,获取所述元数据所属的元数据分区,向所述元数据分区对应的元数据服务器发出请求;所述元数据服务器根据所接收的所述元数据请求中的类型值,确定所述请求的类型;所述元数据服务器根据所述请求的类型,查询元数据块所在的数据结构,对元数据进行增加、定位或者修改处理。本发明采用将元数据全部驻留内存的方式来提高元数据处理能力,根据内存访问特点对元数据组织管理,能够高效利用内存空间,提高元数据处理性能。
-
公开(公告)号:CN101247417A
公开(公告)日:2008-08-20
申请号:CN200810101521.0
申请日:2008-03-07
Applicant: 中国科学院计算技术研究所
Abstract: 本发明涉及计算机存储系统体系结构领域,公开了一种双层元数据处理系统及方法。在本发明中,通过在元数据服务器中设置元数据处理服务器模块和元数据对象存储服务器模块,将对元数据进行的读取和修改操作请求进行了合理的分流,使得不同类型的元数据操作请求在不同的层次上进行处理,从而能够针对元数据操作请求的类型进行优化,同时,在处理读取元数据的操作请求时,可以根据请求创建多个元数据复本,以平衡对读取元数据操作的访问负载。
-
公开(公告)号:CN116364148A
公开(公告)日:2023-06-30
申请号:CN202210471090.7
申请日:2022-04-28
Applicant: 中国科学院计算技术研究所 , 联想(北京)有限公司
IPC: G11C11/4091
Abstract: 本发明提出一种面向分布式全闪存储系统的磨损均衡算法,通过节点间的磨损均衡、节点内设备间的磨损均衡、设备内块间的磨损均衡和设备内使用块和空闲块间的磨损均衡四级实现存储系统的多级磨损均衡算法。通过四级磨损均衡算法达到均衡存储系统内各个设备的磨损均衡,最大化延长设备寿命,节省存储系统维护成本,保证数据可靠性。
-
公开(公告)号:CN106708627B
公开(公告)日:2020-08-07
申请号:CN201611245262.X
申请日:2016-12-29
Applicant: 中国科学院计算技术研究所 , 中国科学院国有资产经营有限责任公司
IPC: G06F9/50 , G06F9/455 , G06F12/0873 , G06F12/1027
Abstract: 本发明提出一种基于kvm的多虚拟机映射、多通路的fuse加速方法及系统,该方法包括步骤1,对现有FUSE内核模块的数据路径添加延迟写功能,其中延迟写功能包括数据在经过内核时,通过VFS层,在FUSE内核模块进行聚合,直接返回到系统调用,仅当聚合数据满足一定大小,或一定时间不再追加时,再通过“/dev/fuse”设备传输到用户态客户端进行数据落盘操作;步骤2,对FUSE内核模块进行多挂载点挂载。通过剥离FUSE模块功能及多虚机映射机制将多虚机数据映射到宿主机,将虚拟机客户端处理操作下放到宿主机端,以减少虚拟机的压力,空出更多的资源供虚拟机进行计算处理任务。
-
公开(公告)号:CN109450452A
公开(公告)日:2019-03-08
申请号:CN201811427459.4
申请日:2018-11-27
Applicant: 中国科学院计算技术研究所
IPC: H03M7/30
Abstract: 本发明涉及一种针对基因数据的取样字典树索引的压缩方法和系统,包括:用户上传待压缩的基因数据,该基因数据包括:标识、序列和质量分值;提取该序列中预设长度的子串到字典树索引结构中进行查找,若该字典树索引结构中具有该子串,则将该子串压缩为该子串在该字典树索引结构中的位置、长度,作为该子串的索引值,否则将该子串加入该字典树索引结构,记录该子串在该字典树索引结构中的位置、长度作为该子串的索引值。本发明提高了序列的压缩效果,并使用取样索引和根据质量分值高低决定是否加入到索引结构的策略来降低字典树的内存占用空间。
-
公开(公告)号:CN106708627A
公开(公告)日:2017-05-24
申请号:CN201611245262.X
申请日:2016-12-29
Applicant: 中国科学院计算技术研究所 , 中国科学院国有资产经营有限责任公司
IPC: G06F9/50 , G06F9/455 , G06F12/0873 , G06F12/1027
CPC classification number: G06F9/5016 , G06F9/45558 , G06F12/0873 , G06F12/1063 , G06F2009/45579 , G06F2009/45583
Abstract: 本发明提出一种基于kvm的多虚拟机映射、多通路的fuse加速方法及系统,该方法包括步骤1,对现有FUSE内核模块的数据路径添加延迟写功能,其中延迟写功能包括数据在经过内核时,通过VFS层,在FUSE内核模块进行聚合,直接返回到系统调用,仅当聚合数据满足一定大小,或一定时间不再追加时,再通过“/dev/fuse”设备传输到用户态客户端进行数据落盘操作;步骤2,对FUSE内核模块进行多挂载点挂载。通过剥离FUSE模块功能及多虚机映射机制将多虚机数据映射到宿主机,将虚拟机客户端处理操作下放到宿主机端,以减少虚拟机的压力,空出更多的资源供虚拟机进行计算处理任务。
-
公开(公告)号:CN101354726B
公开(公告)日:2010-09-29
申请号:CN200810222479.8
申请日:2008-09-17
Applicant: 中国科学院计算技术研究所
IPC: G06F17/30
Abstract: 本发明公开一种机群文件系统的元数据的管理方法,其中,所述文件系统划分为多个元数据分区,每个所述元数据分区划分为多个维护元数据单元信息的元数据块,所述方法包括:客户端解析所产生的元数据请求,获取所述元数据所属的元数据分区,向所述元数据分区对应的元数据服务器发出请求;所述元数据服务器根据所接收的所述元数据请求中的类型值,确定所述请求的类型;所述元数据服务器根据所述请求的类型,查询元数据块所在的数据结构,对元数据进行增加、定位或者修改处理。本发明采用将元数据全部驻留内存的方式来提高元数据处理能力,根据内存访问特点对元数据组织管理,能够高效利用内存空间,提高元数据处理性能。
-
-
-
-
-
-
-
-
-