-
公开(公告)号：CN108304264A
公开(公告)日：2018-07-20
申请号：CN201810058018.5
申请日：2018-01-22
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于SPARK流式计算的纠删码归档方法，属于计算机储存领域。本发明从集群的节点中选取要归档的数据分块在SPARK框架下组建多个RDD，以RDD为基本单元进行纠删码归档，RDD中数据分块所在节点承担各自纠删码中间校验分块的计算任务，并采用流水线形式，从首节点开始向后置节点下发中间校验分块，利用后置节点的中间校验分块和计算能力更新下发的中间校验分块，直到尾节点利用下发的中间校验分块生成最终校验分块，并发送给集群的校验节点。本发明方法在SPARK大数据处理框架下采用Map/Reduce模型进行纠删码归档，归档过程采用流水线方式实现，将编码计算过程分散到多个节点完成，极大提高归档性能。
-
Patent Agency Ranking
公开(公告)号：CN109960588A
公开(公告)日：2019-07-02
申请号：CN201910213623.X
申请日：2019-03-20
Applicant: 华中科技大学
IPC: G06F9/50
Abstract: 本发明公开了一种针对异构内存集群的读请求调度方法及系统，属于计算机系统结构领域，方法包括：(1)根据应用需求确定读请求的调度策略；(2)根据所确定的调度策略估计待调度的读请求序列中各读请求的访问代价，并确定各读请求所对应的目标物理分块序列；(3)根据所估计的访问代价，按照访问代价从小到大的顺序对读请求序列中的读请求进行排序，以完成对异构内存集群的读请求调度；其中，目标物理分块序列包括一个或多个存储于内存或者磁盘中的物理分块。对应地，系统包括：调度策略选择模块、访问代价估计模块以及调度模块，分别用于执行方法各步骤。本发明能够更好地满足各类应用需求，提高异构内存集群I/O调度的整体性能。
-
公开(公告)号：CN106951340B
公开(公告)日：2019-07-09
申请号：CN201710149372.4
申请日：2017-03-14
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于局部性优先的RS纠删码数据布局方法及系统，本发明方法在每轮构建条带时，由包含待选分块最多的节点依次提供待选分块构建条带所需的数据分块，并将计算所得校验分块分开迁移至未提供待选分块的节点，若计算校验分块的待选分块数量不够时，则依次从包含待选分块最多的节点中迁移一个待选分块到本轮不包含待选分块的节点中，其中所述待选分块为还未参与构建条带的数据分块。本发明还实现了一种基于局部性优先的RS纠删码数据布局系统。采用本发明技术方案能够实现构建条带的过程中节点之间的网络传输量最少，除此之外还能实现同一条带的数据分块和校验分块均匀分布在集群的每个节点中，因此可提升集群系统的整体性能。
-
公开(公告)号：CN108304264B
公开(公告)日：2022-02-15
申请号：CN201810058018.5
申请日：2018-01-22
Applicant: 华中科技大学
IPC: G06F9/50 , G06F16/27 , G06F16/182
Abstract: 本发明公开了一种基于SPARK流式计算的纠删码归档方法，属于计算机储存领域。本发明从集群的节点中选取要归档的数据分块在SPARK框架下组建多个RDD，以RDD为基本单元进行纠删码归档，RDD中数据分块所在节点承担各自纠删码中间校验分块的计算任务，并采用流水线形式，从首节点开始向后置节点下发中间校验分块，利用后置节点的中间校验分块和计算能力更新下发的中间校验分块，直到尾节点利用下发的中间校验分块生成最终校验分块，并发送给集群的校验节点。本发明方法在SPARK大数据处理框架下采用Map/Reduce模型进行纠删码归档，归档过程采用流水线方式实现，将编码计算过程分散到多个节点完成，极大提高归档性能。
-
公开(公告)号：CN109960588B
公开(公告)日：2020-12-08
申请号：CN201910213623.X
申请日：2019-03-20
Applicant: 华中科技大学
IPC: G06F9/50
Abstract: 本发明公开了一种针对异构内存集群的读请求调度方法及系统，属于计算机系统结构领域，方法包括：(1)根据应用需求确定读请求的调度策略；(2)根据所确定的调度策略估计待调度的读请求序列中各读请求的访问代价，并确定各读请求所对应的目标物理分块序列；(3)根据所估计的访问代价，按照访问代价从小到大的顺序对读请求序列中的读请求进行排序，以完成对异构内存集群的读请求调度；其中，目标物理分块序列包括一个或多个存储于内存或者磁盘中的物理分块。对应地，系统包括：调度策略选择模块、访问代价估计模块以及调度模块，分别用于执行方法各步骤。本发明能够更好地满足各类应用需求，提高异构内存集群I/O调度的整体性能。
-
公开(公告)号：CN106951340A
公开(公告)日：2017-07-14
申请号：CN201710149372.4
申请日：2017-03-14
Applicant: 华中科技大学
CPC classification number: G06F11/085 , G06F3/0604 , G06F3/064 , G06F3/0689
Abstract: 本发明公开了一种基于局部性优先的RS纠删码数据布局方法及系统，本发明方法在每轮构建条带时，由包含待选分块最多的节点依次提供待选分块构建条带所需的数据分块，并将计算所得校验分块分开迁移至未提供待选分块的节点，若计算校验分块的待选分块数量不够时，则依次从包含待选分块最多的节点中迁移一个待选分块到本轮不包含待选分块的节点中，其中所述待选分块为还未参与构建条带的数据分块。本发明还实现了一种基于局部性优先的RS纠删码数据布局系统。采用本发明技术方案能够实现构建条带的过程中节点之间的网络传输量最少，除此之外还能实现同一条带的数据分块和校验分块均匀分布在集群的每个节点中，因此可提升集群系统的整体性能。
-
-
-
-
-
Search Results
6
records
(took 0.022 seconds)
