-
公开(公告)号：CN109960588A
公开(公告)日：2019-07-02
申请号：CN201910213623.X
申请日：2019-03-20
Applicant: 华中科技大学
IPC: G06F9/50
Abstract: 本发明公开了一种针对异构内存集群的读请求调度方法及系统，属于计算机系统结构领域，方法包括：(1)根据应用需求确定读请求的调度策略；(2)根据所确定的调度策略估计待调度的读请求序列中各读请求的访问代价，并确定各读请求所对应的目标物理分块序列；(3)根据所估计的访问代价，按照访问代价从小到大的顺序对读请求序列中的读请求进行排序，以完成对异构内存集群的读请求调度；其中，目标物理分块序列包括一个或多个存储于内存或者磁盘中的物理分块。对应地，系统包括：调度策略选择模块、访问代价估计模块以及调度模块，分别用于执行方法各步骤。本发明能够更好地满足各类应用需求，提高异构内存集群I/O调度的整体性能。
-
公开(公告)号：CN108304264A
公开(公告)日：2018-07-20
申请号：CN201810058018.5
申请日：2018-01-22
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于SPARK流式计算的纠删码归档方法，属于计算机储存领域。本发明从集群的节点中选取要归档的数据分块在SPARK框架下组建多个RDD，以RDD为基本单元进行纠删码归档，RDD中数据分块所在节点承担各自纠删码中间校验分块的计算任务，并采用流水线形式，从首节点开始向后置节点下发中间校验分块，利用后置节点的中间校验分块和计算能力更新下发的中间校验分块，直到尾节点利用下发的中间校验分块生成最终校验分块，并发送给集群的校验节点。本发明方法在SPARK大数据处理框架下采用Map/Reduce模型进行纠删码归档，归档过程采用流水线方式实现，将编码计算过程分散到多个节点完成，极大提高归档性能。
-
公开(公告)号：CN108304264B
公开(公告)日：2022-02-15
申请号：CN201810058018.5
申请日：2018-01-22
Applicant: 华中科技大学
IPC: G06F9/50 , G06F16/27 , G06F16/182
Abstract: 本发明公开了一种基于SPARK流式计算的纠删码归档方法，属于计算机储存领域。本发明从集群的节点中选取要归档的数据分块在SPARK框架下组建多个RDD，以RDD为基本单元进行纠删码归档，RDD中数据分块所在节点承担各自纠删码中间校验分块的计算任务，并采用流水线形式，从首节点开始向后置节点下发中间校验分块，利用后置节点的中间校验分块和计算能力更新下发的中间校验分块，直到尾节点利用下发的中间校验分块生成最终校验分块，并发送给集群的校验节点。本发明方法在SPARK大数据处理框架下采用Map/Reduce模型进行纠删码归档，归档过程采用流水线方式实现，将编码计算过程分散到多个节点完成，极大提高归档性能。
-
公开(公告)号：CN109960588B
公开(公告)日：2020-12-08
申请号：CN201910213623.X
申请日：2019-03-20
Applicant: 华中科技大学
IPC: G06F9/50
Abstract: 本发明公开了一种针对异构内存集群的读请求调度方法及系统，属于计算机系统结构领域，方法包括：(1)根据应用需求确定读请求的调度策略；(2)根据所确定的调度策略估计待调度的读请求序列中各读请求的访问代价，并确定各读请求所对应的目标物理分块序列；(3)根据所估计的访问代价，按照访问代价从小到大的顺序对读请求序列中的读请求进行排序，以完成对异构内存集群的读请求调度；其中，目标物理分块序列包括一个或多个存储于内存或者磁盘中的物理分块。对应地，系统包括：调度策略选择模块、访问代价估计模块以及调度模块，分别用于执行方法各步骤。本发明能够更好地满足各类应用需求，提高异构内存集群I/O调度的整体性能。
-
-
-
Search Results
4
records
(took 0.014 seconds)
