-
公开(公告)号:CN110032338B
公开(公告)日:2020-05-19
申请号:CN201910214010.8
申请日:2019-03-20
Applicant: 华中科技大学
IPC: G06F3/06
Abstract: 本发明公开了一种面向纠删码的数据副本放置方法及系统,属于计算机系统结构领域,包括:将所有数据分块的主副本和从副本均载入内存,使得存储主副本的节点均位于主机架内,且存储从副本的节点位于k个副机架内;识别出主机架内主副本中的温数据块;利用所识别出的温数据块构造条带,并确定用于对每一个条带进行纠删码编码的编码节点;分别对每一个条带进行纠删码编码,并在编码完成后移动编码产生的校验分块,使得同一条带所对应的校验分块和从副本满足扁平化分块布局,从而实现异构集群内的纠删码归档。本发明能够减少异构集群下纠删码归档时的跨机架数据传输,从而缩短归档时长,并保证归档后的最大机架间容错度。
-
公开(公告)号:CN110032338A
公开(公告)日:2019-07-19
申请号:CN201910214010.8
申请日:2019-03-20
Applicant: 华中科技大学
IPC: G06F3/06
Abstract: 本发明公开了一种面向纠删码的数据副本放置方法及系统,属于计算机系统结构领域,包括:将所有数据分块的主副本和从副本均载入内存,使得存储主副本的节点均位于主机架内,且存储从副本的节点位于k个副机架内;识别出主机架内主副本中的温数据块;利用所识别出的温数据块构造条带,并确定用于对每一个条带进行纠删码编码的编码节点;分别对每一个条带进行纠删码编码,并在编码完成后移动编码产生的校验分块,使得同一条带所对应的校验分块和从副本满足扁平化分块布局,从而实现异构集群内的纠删码归档。本发明能够减少异构集群下纠删码归档时的跨机架数据传输,从而缩短归档时长,并保证归档后的最大机架间容错度。
-
公开(公告)号:CN108073472B
公开(公告)日:2020-05-19
申请号:CN201711318689.2
申请日:2017-12-12
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于热度感知的内存纠删码分布方法,属于计算机存储技术领域。本发明方法根据数据分块访问频次的变化,定期执行下述步骤,首先对内存中的数据分块进行热度等级的划分,访问频次越高的数据分块热度等级越高;其次,对热度等级由低变高的数据分块进行副本备份,提高访问的并行性;之后,针对热度等级由高变低的数据分块进行副本删除或者替换,节约内存空间,提高利用率。本发明方法利用访问频度感知策略,动态调整内存数据分块,对低访问频度数据采用纠删码存储方案,对高访问频度数据采用副本方案,兼顾系统的内存利用率和访问并发性,优化系统的负载均衡。
-
公开(公告)号:CN108073472A
公开(公告)日:2018-05-25
申请号:CN201711318689.2
申请日:2017-12-12
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于热度感知的内存纠删码分布方法,属于计算机存储技术领域。本发明方法根据数据分块访问频次的变化,定期执行下述步骤,首先对内存中的数据分块进行热度等级的划分,访问频次越高的数据分块热度等级越高;其次,对热度等级由低变高的数据分块进行副本备份,提高访问的并行性;之后,针对热度等级由高变低的数据分块进行副本删除或者替换,节约内存空间,提高利用率。本发明方法利用访问频度感知策略,动态调整内存数据分块,对低访问频度数据采用纠删码存储方案,对高访问频度数据采用副本方案,兼顾系统的内存利用率和访问并发性,优化系统的负载均衡。
-
-
-