-
公开(公告)号：CN108304264B
公开(公告)日：2022-02-15
申请号：CN201810058018.5
申请日：2018-01-22
Applicant: 华中科技大学
IPC: G06F9/50 , G06F16/27 , G06F16/182
Abstract: 本发明公开了一种基于SPARK流式计算的纠删码归档方法，属于计算机储存领域。本发明从集群的节点中选取要归档的数据分块在SPARK框架下组建多个RDD，以RDD为基本单元进行纠删码归档，RDD中数据分块所在节点承担各自纠删码中间校验分块的计算任务，并采用流水线形式，从首节点开始向后置节点下发中间校验分块，利用后置节点的中间校验分块和计算能力更新下发的中间校验分块，直到尾节点利用下发的中间校验分块生成最终校验分块，并发送给集群的校验节点。本发明方法在SPARK大数据处理框架下采用Map/Reduce模型进行纠删码归档，归档过程采用流水线方式实现，将编码计算过程分散到多个节点完成，极大提高归档性能。
-
公开(公告)号：CN111444036B
公开(公告)日：2021-04-20
申请号：CN202010196333.1
申请日：2020-03-19
Applicant: 华中科技大学
IPC: G06F11/10
Abstract: 本发明公开了一种数据关联性感知的纠删码内存替换方法、设备及内存系统，属于计算机存储领域，包括：(1)按照读请求的顺序将数据分块加载进内存，并以副本方式存放；(2)若已执行的读请求数量number达到阈值K2，则进行垃圾回收，之后转入步骤(4)；否则，转入步骤(3)；(3)若number达到阈值K1，则进行纠删码归档，使相关联的数据分块位于同一个条带中，之后转入步骤(4)；否则，直接转入步骤(4)；(4)若用户请求已经执行完毕，则操作结束；否则，获取下一条未执行的读请求作为当前读请求，并转入步骤(1)。本发明通过增大同一条带中的数据分块被同时淘汰的概率，能够减少归档后由于替换而造成的更新开销，降低用户访问延迟。
-
公开(公告)号：CN109960588B
公开(公告)日：2020-12-08
申请号：CN201910213623.X
申请日：2019-03-20
Applicant: 华中科技大学
IPC: G06F9/50
Abstract: 本发明公开了一种针对异构内存集群的读请求调度方法及系统，属于计算机系统结构领域，方法包括：(1)根据应用需求确定读请求的调度策略；(2)根据所确定的调度策略估计待调度的读请求序列中各读请求的访问代价，并确定各读请求所对应的目标物理分块序列；(3)根据所估计的访问代价，按照访问代价从小到大的顺序对读请求序列中的读请求进行排序，以完成对异构内存集群的读请求调度；其中，目标物理分块序列包括一个或多个存储于内存或者磁盘中的物理分块。对应地，系统包括：调度策略选择模块、访问代价估计模块以及调度模块，分别用于执行方法各步骤。本发明能够更好地满足各类应用需求，提高异构内存集群I/O调度的整体性能。
-
公开(公告)号：CN111444036A
公开(公告)日：2020-07-24
申请号：CN202010196333.1
申请日：2020-03-19
Applicant: 华中科技大学
IPC: G06F11/10
Abstract: 本发明公开了一种数据关联性感知的纠删码内存替换方法、设备及内存系统，属于计算机存储领域，包括：(1)按照读请求的顺序将数据分块加载进内存，并以副本方式存放；(2)若已执行的读请求数量number达到阈值K2，则进行垃圾回收，之后转入步骤(4)；否则，转入步骤(3)；(3)若number达到阈值K1，则进行纠删码归档，使相关联的数据分块位于同一个条带中，之后转入步骤(4)；否则，直接转入步骤(4)；(4)若用户请求已经执行完毕，则操作结束；否则，获取下一条未执行的读请求作为当前读请求，并转入步骤(1)。本发明通过增大同一条带中的数据分块被同时淘汰的概率，能够减少归档后由于替换而造成的更新开销，降低用户访问延迟。
-
公开(公告)号：CN108073472B
公开(公告)日：2020-05-19
申请号：CN201711318689.2
申请日：2017-12-12
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于热度感知的内存纠删码分布方法，属于计算机存储技术领域。本发明方法根据数据分块访问频次的变化，定期执行下述步骤，首先对内存中的数据分块进行热度等级的划分，访问频次越高的数据分块热度等级越高；其次，对热度等级由低变高的数据分块进行副本备份，提高访问的并行性；之后，针对热度等级由高变低的数据分块进行副本删除或者替换，节约内存空间，提高利用率。本发明方法利用访问频度感知策略，动态调整内存数据分块，对低访问频度数据采用纠删码存储方案，对高访问频度数据采用副本方案，兼顾系统的内存利用率和访问并发性，优化系统的负载均衡。
-
Patent Agency Ranking
公开(公告)号：CN105824578B
公开(公告)日：2018-11-30
申请号：CN201610139298.3
申请日：2016-03-11
Applicant: 华中科技大学
Abstract: 本发明公开了一种减少RAID‑6解码I/O数据量的方程选择方法：一次只选择一个校验方程，而且遵循每次都选择具有最多可重用块的校验方程的原则，直到选定的校验方程数量与条带中丢失的数据块数量一致为止；为了快速选出可重用块数量最多的校验方程，维持一个按可重用块数量排序的校验方程序列，每次从序列顺序选择校验方程。使用本发明方法选择校验方程子集用于解码时，解码I/O的数据量要少于传统解码方法使用的数据量，这有助于减少解码时从磁盘读取数据的时间，从而提高解码性能。
-
公开(公告)号：CN106951340A
公开(公告)日：2017-07-14
申请号：CN201710149372.4
申请日：2017-03-14
Applicant: 华中科技大学
CPC classification number: G06F11/085 , G06F3/0604 , G06F3/064 , G06F3/0689
Abstract: 本发明公开了一种基于局部性优先的RS纠删码数据布局方法及系统，本发明方法在每轮构建条带时，由包含待选分块最多的节点依次提供待选分块构建条带所需的数据分块，并将计算所得校验分块分开迁移至未提供待选分块的节点，若计算校验分块的待选分块数量不够时，则依次从包含待选分块最多的节点中迁移一个待选分块到本轮不包含待选分块的节点中，其中所述待选分块为还未参与构建条带的数据分块。本发明还实现了一种基于局部性优先的RS纠删码数据布局系统。采用本发明技术方案能够实现构建条带的过程中节点之间的网络传输量最少，除此之外还能实现同一条带的数据分块和校验分块均匀分布在集群的每个节点中，因此可提升集群系统的整体性能。
-
公开(公告)号：CN104484126B
公开(公告)日：2017-06-13
申请号：CN201410640456.4
申请日：2014-11-13
Applicant: 华中科技大学
IPC: G06F3/06
Abstract: 本发明公开了一种基于纠删码的数据安全删除方法，包括：将源数据均分为k个相同大小的数据块，标识为D0、D1、…、Dk‑1，选择一个随机数或伪随机数nonce，使用密钥Key对其进行加密，以得到一个与数据块D0相同大小的块，利用得到的块对D0、D1、…、Dk‑1进行按位异或，以得到新的数据块C0、C1、…、Ck‑1，将随机数或伪随机数nonce均分为k份，并将其分别附加到数据块C0、C1、…、Ck‑1末尾，以得到数据块C0’、C1’、…、Ck‑1’，采用系统纠删码算法对k个数据块C0’、C1’、…、Ck‑1’进行编码计算，以得到r个校验块P0、P1、…、Pr‑1。本发明能够解决现有方法中由于重复覆盖写引起的高写开销和对磁盘造成的损伤，以及采用数据副本方式以增强数据可用性时增加覆盖写开销的技术问题。
-
公开(公告)号：CN105610921A
公开(公告)日：2016-05-25
申请号：CN201510979326.8
申请日：2015-12-23
Applicant: 华中科技大学
IPC: H04L29/08
Abstract: 本发明公开了一种集群下基于数据缓存的纠删码归档方法,包括以下步骤：(1)根据用户访问请求，将所需数据分块从其所在生产节点读取到节点缓冲区，并将数据分块发送给访问节点，同时根据归档数据状态表将其转发给归档节点；(2)归档节点根据接收到的数据分块，更新每个数据节点的数据分块个数；判断归档节点是否接收到当前条带的全部数据分块，若是，则将当前条带进行归档；若否，则从生产集群读取冷数据块，将条带凑齐之后进行归档；本发明提供的这种纠删码归档方法，由于采用了用户访问缓存的数据分块，相比于普通纠删码归档方法，可大幅度减少归档节点从生产集群中读取数据分块的次数，可以在不影响用户访问的情况下进行纠删码归档操作，提高归档效率。
-
公开(公告)号：CN103176865B
公开(公告)日：2015-05-20
申请号：CN201310077285.4
申请日：2013-03-12
Applicant: 华中科技大学
Abstract: 本发明公开了一种纠删码存储中负载感知的读优化方法，包括：初始化纠删码存储集群中所有节点的节点负载权重值为零，从用户接收应用访问请求，从纠删码存储集群的数据节点中任选一个数据节点，判断该数据节点是否在应用访问请求操作对应的节点号内，如果是则判断该数据节点的节点负载权重值是否大于或等于预定的阈值，若是则将纠删码存储集群中所有节点的节点负载权重值按照从小到大的顺序进行排列，读取前K个节点对应的偏移地址的分块数据，并获取读取该分块数据各自所花费的时间，并利用RS解码算法对分块数据进行解码操作。本方法能够解决传统方法在各节点负载相差很大时存在的应用访问请求的响应时间长、纠删码存储集群的可靠性低的问题。
-
-
-
-
-
-
-
-
-
Search Results
95
records
(took 0.038 seconds)
