-
公开(公告)号:CN114143174B
公开(公告)日:2024-08-16
申请号:CN202111447401.8
申请日:2021-11-30
Applicant: 深信服科技股份有限公司 , 华中科技大学
IPC: H04L41/0654 , H04L41/0823 , H04L41/147 , H04L67/06 , H04L67/10 , G06F11/10
Abstract: 本发明公开了一种节点修复方法、装置、设备及可读存储介质,该方法应用于修复请求节点,包括:获取多个条带节点中每个条带节点对应的预期下载时间和预期上传时间;根据预期下载时间和预期上传时间,从多个条带节点中确定修复节点;将待分配条带修复任务分配到修复节点;本发明将条带修复作为基本单位,基于贪心算法比较条带在每一个条带节点上修复时的网络传输时间,从而能够选择网络传输时间最小的那个条带节点作为该条带的修复节点,使得多个条带能够均衡的分配在不同条带节点上修复,保证各个条带节点带宽使用是相对均衡的,降低了节点修复过程中的网络传输时间,提高了节点修复性能,提升了用户体验。
-
公开(公告)号:CN114143174A
公开(公告)日:2022-03-04
申请号:CN202111447401.8
申请日:2021-11-30
Applicant: 深信服科技股份有限公司 , 华中科技大学
IPC: H04L41/0654 , H04L41/0823 , H04L41/147 , H04L67/06 , H04L67/10 , G06F11/10
Abstract: 本发明公开了一种节点修复方法、装置、设备及可读存储介质,该方法应用于修复请求节点,包括:获取多个条带节点中每个条带节点对应的预期下载时间和预期上传时间;根据预期下载时间和预期上传时间,从多个条带节点中确定修复节点;将待分配条带修复任务分配到修复节点;本发明将条带修复作为基本单位,基于贪心算法比较条带在每一个条带节点上修复时的网络传输时间,从而能够选择网络传输时间最小的那个条带节点作为该条带的修复节点,使得多个条带能够均衡的分配在不同条带节点上修复,保证各个条带节点带宽使用是相对均衡的,降低了节点修复过程中的网络传输时间,提高了节点修复性能,提升了用户体验。
-
公开(公告)号:CN114138543A
公开(公告)日:2022-03-04
申请号:CN202111447413.0
申请日:2021-11-30
Applicant: 深信服科技股份有限公司 , 华中科技大学
Abstract: 本申请公开了一种数据条带编码方法、系统、设备及介质,获取待编码的第一条带数据及第二条带数据;生成第一条带数据及第二条带数据各自的运算值,运算值的数量与冗余校验块的数量相等;基于第二条带数据的运算值、第一条带数据的运算值生成异或值;基于运算值及异或值确定第一条带数据及第二条带数据各自的校验块。本申请中,在进行Hitchhiker纠删码的过程中,需计算第二条带数据的运算值与第一条带数据的第一运算值间的异或值,并且根据该异或值确定相应的校验块,借助异或值降低了Hitchhiker纠删码的计算开销,提高了计算速度。本申请提供的数据条带编码系统、设备及计算机可读存储介质也解决了相应技术问题。
-
公开(公告)号:CN110347526A
公开(公告)日:2019-10-18
申请号:CN201910570969.5
申请日:2019-06-28
Applicant: 华中科技大学 , 深圳华中科技大学研究院
IPC: G06F11/07
Abstract: 本发明公开了一种提升分布式存储集群中LRC码修复性能的方法、装置及系统,属于计算机存储领域,包括:执行LRC编码以生成相应的条带;对于每一个条带,将其中的每一个局部组进一步划分为一个或多个小分组后,将同一个小分组内的编码块放置到同一个机架中的不同节点,不同的小分组放置到不同机架中;对单个编码块进行修复时,获得待修复编码块所在的目标小分组,以及同一局部组内的其他小分组;在各小分组所在机架内,由中继节点收集同一小分组内的编码块,并解码得到中间结果;在目标小分组所在机架内,由目标节点收集中间结果后,解码以修复得到待修复的编码块并存储该编码块,从而完成修复操作。本发明能够提升分布式存储集群中LRC码的修复性能。
-
公开(公告)号:CN110231999A
公开(公告)日:2019-09-13
申请号:CN201910454764.0
申请日:2019-05-29
Applicant: 华中科技大学 , 深圳华中科技大学研究院
Abstract: 本发明公开了一种提升基于局部修复编码的存储系统可靠性的方法及装置,属于计算机存储领域,包括预测调整的步骤和修复回归的步骤;预测调整的步骤包括定期执行如下操作:预测即将发生故障的坏盘,并将其中的所有数据块均标记为坏块;对于每一个坏块Bi,改变分组状态,使得所属的分组Gi内仅保留坏块Bi以及另外一个数据块,且其余数据块被转移,相应更新局部校验块;修复回归的步骤包括:执行修复操作;若修复所得的数据块B被标记为坏块,则将其标记为好块,并在所属分组G中的数据块发生了转移时,将被转移的数据块转移回分组G,并相应更新局部校验块。本发明能够提高基于局部修复编码的存储系统的降级读性能和数据修复性能,从而提升系统可靠性。
-
公开(公告)号:CN110427156B
公开(公告)日:2020-09-08
申请号:CN201910639534.1
申请日:2019-07-16
Applicant: 华中科技大学 , 深圳华中科技大学研究院
IPC: G06F3/06
Abstract: 本发明公开了一种基于分片的MBR的并行读方法,属于计算机存储领域。MBR存储系统在写入时,按照文件流依次同时写入同一个数据块到两个不同的节点上,包括:向MBR存储系统请求读文件之前,将MBR存储系统中每个数据块分为大小相等的两个切片;向MBR存储系统请求读某文件时,依次寻找该文件中每个数据块所在的两个不同节点;并行地从不同的两个节点上读取同一个数据块的两个不同的切片,直至该文件读取结束。通过对数据块进行分片,读取不同的两个节点上的同一个数据块时,只需读取原数据块的一半即可,不会增加额外的数据读取量,使得系统保持良好并行性的同时,读取更少的数据量,进一步提升了存储系统的读性能。
-
公开(公告)号:CN110442535A
公开(公告)日:2019-11-12
申请号:CN201910655375.4
申请日:2019-07-19
Applicant: 华中科技大学 , 深圳华中科技大学研究院
IPC: G06F12/0893 , G06F12/0842
Abstract: 本发明公开了一种提高分布式固态盘键值缓存系统可靠性的方法及系统,属于计算机存储领域,包括:写操作步骤,写入数据的同时缓存数据,将同一固态盘服务器的数据聚合为数据块,并执行纠删码编码得到条带,条带中一个校验块写入内存服务器,其余编码块写入不同的固态盘服务器;更新操作步骤,更新数据块,同时计算更新差值,利用更新差值更新内存服务器中的校验块,并将更新差值记录到日志中;以及降级读操作步骤,按照数据块、内存服务器中的校验块、固态盘服务器中的校验块的优先级顺序,依次获取条带内的其他编码块,并在成功获取到n个编码块时,解码得到丢失数据块。本发明能够提高分布式固态盘键值缓存系统的可靠性,并优化系统性能。
-
公开(公告)号:CN110427156A
公开(公告)日:2019-11-08
申请号:CN201910639534.1
申请日:2019-07-16
Applicant: 华中科技大学 , 深圳华中科技大学研究院
IPC: G06F3/06
Abstract: 本发明公开了一种基于分片的MBR的并行读方法,属于计算机存储领域。MBR存储系统在写入时,按照文件流依次同时写入同一个数据块到两个不同的节点上,包括:向MBR存储系统请求读文件之前,将MBR存储系统中每个数据块分为大小相等的两个切片;向MBR存储系统请求读某文件时,依次寻找该文件中每个数据块所在的两个不同节点;并行地从不同的两个节点上读取同一个数据块的两个不同的切片,直至该文件读取结束。通过对数据块进行分片,读取不同的两个节点上的同一个数据块时,只需读取原数据块的一半即可,不会增加额外的数据读取量,使得系统保持良好并行性的同时,读取更少的数据量,进一步提升了存储系统的读性能。
-
公开(公告)号:CN110442535B
公开(公告)日:2021-06-11
申请号:CN201910655375.4
申请日:2019-07-19
Applicant: 华中科技大学 , 深圳华中科技大学研究院
IPC: G06F12/0893 , G06F12/0842
Abstract: 本发明公开了一种提高分布式固态盘键值缓存系统可靠性的方法及系统,属于计算机存储领域,包括:写操作步骤,写入数据的同时缓存数据,将同一固态盘服务器的数据聚合为数据块,并执行纠删码编码得到条带,条带中一个校验块写入内存服务器,其余编码块写入不同的固态盘服务器;更新操作步骤,更新数据块,同时计算更新差值,利用更新差值更新内存服务器中的校验块,并将更新差值记录到日志中;以及降级读操作步骤,按照数据块、内存服务器中的校验块、固态盘服务器中的校验块的优先级顺序,依次获取条带内的其他编码块,并在成功获取到n个编码块时,解码得到丢失数据块。本发明能够提高分布式固态盘键值缓存系统的可靠性,并优化系统性能。
-
公开(公告)号:CN110347526B
公开(公告)日:2020-12-18
申请号:CN201910570969.5
申请日:2019-06-28
Applicant: 华中科技大学 , 深圳华中科技大学研究院
IPC: G06F11/07
Abstract: 本发明公开了一种提升分布式存储集群中LRC码修复性能的方法、装置及系统,属于计算机存储领域,包括:执行LRC编码以生成相应的条带;对于每一个条带,将其中的每一个局部组进一步划分为一个或多个小分组后,将同一个小分组内的编码块放置到同一个机架中的不同节点,不同的小分组放置到不同机架中;对单个编码块进行修复时,获得待修复编码块所在的目标小分组,以及同一局部组内的其他小分组;在各小分组所在机架内,由中继节点收集同一小分组内的编码块,并解码得到中间结果;在目标小分组所在机架内,由目标节点收集中间结果后,解码以修复得到待修复的编码块并存储该编码块,从而完成修复操作。本发明能够提升分布式存储集群中LRC码的修复性能。
-
-
-
-
-
-
-
-
-