-
公开(公告)号：CN111831223B
公开(公告)日：2021-06-11
申请号：CN202010567095.0
申请日：2020-06-19
Applicant: 华中科技大学
Abstract: 本发明公开了一种提高数据去重系统可扩展性的容错编码方法、装置及系统，属于计算机存储领域，包括：在数据去重系统中新增Δk个节点时，将每k+Δk个具有局部性关联的容器划分为一个关联容器组，并将编码方式从RS(k,m)扩展为RS(k+Δk,m)；对于每一个关联容器组G，将其中的Δk个容器中的共Δk×k个数据块均匀地迁移到新增节点中；对于关联容器组G中每一个未迁移的容器C，从每一个新增节点中选取一个数据块与容器C中的数据块组合，按照RS(k+Δk,m)计算组合得到的k+Δk个数据块对应的校验块PC1′～PCm′并存储到节点中，由组合得到的k+Δk个数据块及校验块PC1′～PCm′构成一个新的条带；从节点中删除中各容器的旧校验块。本发明能够有效提高数据去重系统的可扩展性。
-
公开(公告)号：CN111831480A
公开(公告)日：2020-10-27
申请号：CN202010555796.2
申请日：2020-06-17
Applicant: 华中科技大学
IPC: G06F11/14
Abstract: 本发明公开了一种基于去重系统的分层编码方法、装置及去重系统，计算机存储领域，包括：预先将数据块的被引用次数划分为N个层级，并在内存中对应创建N个缓存区作为N个数据容器；编码时，当一个数据块经过去重之后，若是唯一块，则将其被引用次数记为1；否则，将其被引用次数加1；之后，将被引用次数记录到数据块的元数据中，并确定数据块所处的层级，将其存储到对应的数据容器中；当数据容器满时，按照其所处层级对应的编码方式进行编码，并将同一条带中的分块存储到不同的节点中；层级越高，对应的被引用次数范围越大，编码条带越短。本发明能够保证去重系统具有良好的存储效率，同时又保证在数据节点失效时，去重系统具有良好的修复速率。
-
公开(公告)号：CN107463462A
公开(公告)日：2017-12-12
申请号：CN201610399396.0
申请日：2016-06-06
Applicant: 华中科技大学 , 腾讯科技(深圳)有限公司
Inventor： 胡燏翀
CPC classification number: G06F11/1402 , G06F11/085
Abstract: 本发明提供一种数据修复方法，其包括：获取数据修复指令，并根据数据修复指令在本地机架中创建用于修复丢失数据片段的本地新节点；根据数据修复指令，在本地机架的其他节点的编码数据片段中收集本地修复数据；根据数据修复指令，在中继机架中确定数据中继节点，并通过数据中继节点在相应的中继机架的节点的编码数据片段中收集中继修复数据；根据本地修复数据以及中继修复数据，在本地新节点对丢失数据片段进行修复操作。本发明还提供一种数据修复装置，本发明的数据修复方法及数据修复装置对机架内数据修复和跨机架数据修复进行结合，提高了数据修复操作的传输效率。
-
公开(公告)号：CN105404560A
公开(公告)日：2016-03-16
申请号：CN201510744366.4
申请日：2015-11-05
Applicant: 华中科技大学
CPC classification number: G06F11/1076 , H04L63/0428 , H04L63/0823
Abstract: 本发明公开了一种对象存储系统中基于RAID5的安全认证方法。该方法包括：利用RAID5安全可靠低成本的特性，在对象存储系统的关键路径TA上设置N台TA服务器，然后将N台TA服务器上的存储资源整合,并在其上部署RAID5。当客户端发来认证请求时，TA Controller首先对认证请求赋予ID，并对ID进行取模运算，选择一台目标TA服务器对Client端认证请求进行处理，将认证请求处理结果返回到TA Controller中。TA Controller将处理结果存入RAID5中，按照RAID5的存取机制进行数据存取。冗余TA服务器可以有效地防止单点故障，同时，RAID5又可保证数据丢失时的快速恢复，保证TA端用户数据的安全性和服务的可靠性。本发明能大幅度地提高TA端数据的安全可靠性。
-
公开(公告)号：CN119759906A
公开(公告)日：2025-04-04
申请号：CN202411872072.5
申请日：2024-12-18
Applicant: 华中科技大学
Abstract: 本申请属于计算机存储技术领域，具体公开了一种基于混合编码的二进制大对象存储修复方法和装置，该方法包括：获取多个二进制大对象Blob，并对多个Blob中的小型Blob进行非系统性最小存储再生MSR编码，对多个Blob中的大型Blob进行系统性MSR编码；将编码后的多个Blob均衡存储在多个存储节点中；基于待修复Blob的类型，确定对应的修复策略，并基于修复策略以及所述多个存储节点中的编码后的多个Blob，使用分组并行修复技术对待修复Blob进行修复。该方法可以提升Blob修复效率。
-
Patent Agency Ranking
公开(公告)号：CN119005265A
公开(公告)日：2024-11-22
申请号：CN202411182560.3
申请日：2024-08-27
Applicant: 华中科技大学
IPC: G06N3/0495 , G06N3/042 , G06N3/08
Abstract: 本申请属于计算机存储领域，具体公开了一种面向高性能数据并行DNN训练的稀疏化压缩方法及装置，该方法包括：获取在数据并行DNN训练系统中反向传播生成的多维度梯度张量；基于多维度梯度张量的输入维度信息和输出维度信息构建矩阵，获得多维度梯度张量矩阵；使用第一稀疏化压缩方案和第二稀疏化压缩方案对多维度梯度张量矩阵进行压缩；第一稀疏化压缩方案包括：对多维度梯度张量中的每个维度内的元素进行局部排序；在每个维度中选择k/M个最大的元素并保留，同时将其余元素置零，其中k为梯度元素个数，M为维度数量；第二稀疏化压缩方案包括：在多维度梯度张量的所有元素中选择绝对值最大的k个元素并保留，同时将其余元素置零。
-
公开(公告)号：CN118466859B
公开(公告)日：2024-10-11
申请号：CN202410924980.8
申请日：2024-07-11
Applicant: 浪潮电子信息产业股份有限公司 , 华中科技大学
Abstract: 本发明公开了一种数据处理方法、系统、存储集群、设备及可读存储介质，涉及存储领域，为解决采用多层耦合码修复速度慢的问题，该数据处理方法包括通过多层耦合码将原始数据划分为若干个数据块和校验块，并将各个数据块和各个校验块均划分为若干个子块后进行编码，得到每一子块的原始编码；获取格雷码序列，按格雷码序列及原始编码调整各个子块的排列顺序，按照调整后的排列顺序将各个子块写入对应的存储节点；当满足单块数据修复条件时，通过多层耦合码确定故障块，从存储节点中读取故障块对应的待访问子块，通过待访问子块对故障块进行数据修复。本发明能够将对子块大量的随机访问转换为少量的顺序访问，从而减少修复访问数量，提高修复效率。
-
公开(公告)号：CN114143174B
公开(公告)日：2024-08-16
申请号：CN202111447401.8
申请日：2021-11-30
Applicant: 深信服科技股份有限公司 , 华中科技大学
IPC: H04L41/0654 , H04L41/0823 , H04L41/147 , H04L67/06 , H04L67/10 , G06F11/10
Abstract: 本发明公开了一种节点修复方法、装置、设备及可读存储介质，该方法应用于修复请求节点，包括：获取多个条带节点中每个条带节点对应的预期下载时间和预期上传时间；根据预期下载时间和预期上传时间，从多个条带节点中确定修复节点；将待分配条带修复任务分配到修复节点；本发明将条带修复作为基本单位，基于贪心算法比较条带在每一个条带节点上修复时的网络传输时间，从而能够选择网络传输时间最小的那个条带节点作为该条带的修复节点，使得多个条带能够均衡的分配在不同条带节点上修复，保证各个条带节点带宽使用是相对均衡的，降低了节点修复过程中的网络传输时间，提高了节点修复性能，提升了用户体验。
-
公开(公告)号：CN117632025A
公开(公告)日：2024-03-01
申请号：CN202311634000.2
申请日：2023-11-29
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于纠删码部分更新的推测性缓存方法和系统，属于计算机存储领域。本发明在一段时间内从更新请求流中感知数据块的更新位置，并推测地从磁盘中缓存旧数据，具体为：利用更新局部性，当局部性超过固定阈值时缓存整个旧块；否则，它会缓存旧块一部分。它缓存具有高局部性的整个旧数据块，以减少磁盘搜索。对于对同一个数据块的一系列更新请求，本发明只执行一个磁盘搜索。否则，它会缓存旧的部分数据，以迁移磁盘读取和内存开销。该方法能够在有效降低磁盘内存开销的同时，有效平衡磁盘I/O，提高更新性能。
-
公开(公告)号：CN114143174A
公开(公告)日：2022-03-04
申请号：CN202111447401.8
申请日：2021-11-30
Applicant: 深信服科技股份有限公司 , 华中科技大学
IPC: H04L41/0654 , H04L41/0823 , H04L41/147 , H04L67/06 , H04L67/10 , G06F11/10
Abstract: 本发明公开了一种节点修复方法、装置、设备及可读存储介质，该方法应用于修复请求节点，包括：获取多个条带节点中每个条带节点对应的预期下载时间和预期上传时间；根据预期下载时间和预期上传时间，从多个条带节点中确定修复节点；将待分配条带修复任务分配到修复节点；本发明将条带修复作为基本单位，基于贪心算法比较条带在每一个条带节点上修复时的网络传输时间，从而能够选择网络传输时间最小的那个条带节点作为该条带的修复节点，使得多个条带能够均衡的分配在不同条带节点上修复，保证各个条带节点带宽使用是相对均衡的，降低了节点修复过程中的网络传输时间，提高了节点修复性能，提升了用户体验。
-
-
-
-
-
-
-
-
-
Search Results
85
records
(took 0.044 seconds)
