-
公开(公告)号:CN106844060A
公开(公告)日:2017-06-13
申请号:CN201710141230.3
申请日:2017-03-10
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于任务负载感知的纠删码归档方法及系统,属于计算机存储技术领域。本发明方法首先获取纠删码集群中归档条带的每个节点任务数和每个节点上含有的当前归档条带数据分块个数;之后选取任务数最小且含有当前归档条带数据分块较多的一个存储节点作为编码节点,并更新编码节点的任务数;然后根据任务数最小原则和供给节点选取规则,依次选取所有数据分块的供给节点,并且更新其任务数;最后编码节点通过供给节点提供的数据分块进行编码计算,生成校验分块,完成归档任务。本发明还实现了一种基于任务负载感知的纠删码归档系统。本发明解决了现有归档方法中将大量归档任务集中分配到某个数据节点而导致的归档任务不均衡问题。
-
公开(公告)号:CN108073472B
公开(公告)日:2020-05-19
申请号:CN201711318689.2
申请日:2017-12-12
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于热度感知的内存纠删码分布方法,属于计算机存储技术领域。本发明方法根据数据分块访问频次的变化,定期执行下述步骤,首先对内存中的数据分块进行热度等级的划分,访问频次越高的数据分块热度等级越高;其次,对热度等级由低变高的数据分块进行副本备份,提高访问的并行性;之后,针对热度等级由高变低的数据分块进行副本删除或者替换,节约内存空间,提高利用率。本发明方法利用访问频度感知策略,动态调整内存数据分块,对低访问频度数据采用纠删码存储方案,对高访问频度数据采用副本方案,兼顾系统的内存利用率和访问并发性,优化系统的负载均衡。
-
公开(公告)号:CN106844060B
公开(公告)日:2020-01-03
申请号:CN201710141230.3
申请日:2017-03-10
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于任务负载感知的纠删码归档方法及系统,属于计算机存储技术领域。本发明方法首先获取纠删码集群中归档条带的每个节点任务数和每个节点上含有的当前归档条带数据分块个数;之后选取任务数最小且含有当前归档条带数据分块较多的一个存储节点作为编码节点,并更新编码节点的任务数;然后根据任务数最小原则和供给节点选取规则,依次选取所有数据分块的供给节点,并且更新其任务数;最后编码节点通过供给节点提供的数据分块进行编码计算,生成校验分块,完成归档任务。本发明还实现了一种基于任务负载感知的纠删码归档系统。本发明解决了现有归档方法中将大量归档任务集中分配到某个数据节点而导致的归档任务不均衡问题。
-
公开(公告)号:CN108073472A
公开(公告)日:2018-05-25
申请号:CN201711318689.2
申请日:2017-12-12
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于热度感知的内存纠删码分布方法,属于计算机存储技术领域。本发明方法根据数据分块访问频次的变化,定期执行下述步骤,首先对内存中的数据分块进行热度等级的划分,访问频次越高的数据分块热度等级越高;其次,对热度等级由低变高的数据分块进行副本备份,提高访问的并行性;之后,针对热度等级由高变低的数据分块进行副本删除或者替换,节约内存空间,提高利用率。本发明方法利用访问频度感知策略,动态调整内存数据分块,对低访问频度数据采用纠删码存储方案,对高访问频度数据采用副本方案,兼顾系统的内存利用率和访问并发性,优化系统的负载均衡。
-
-
-