提升分布式存储集群中LRC码修复性能的方法、装置及系统

    公开(公告)号:CN110347526B

    公开(公告)日:2020-12-18

    申请号:CN201910570969.5

    申请日:2019-06-28

    Abstract: 本发明公开了一种提升分布式存储集群中LRC码修复性能的方法、装置及系统,属于计算机存储领域,包括:执行LRC编码以生成相应的条带;对于每一个条带,将其中的每一个局部组进一步划分为一个或多个小分组后,将同一个小分组内的编码块放置到同一个机架中的不同节点,不同的小分组放置到不同机架中;对单个编码块进行修复时,获得待修复编码块所在的目标小分组,以及同一局部组内的其他小分组;在各小分组所在机架内,由中继节点收集同一小分组内的编码块,并解码得到中间结果;在目标小分组所在机架内,由目标节点收集中间结果后,解码以修复得到待修复的编码块并存储该编码块,从而完成修复操作。本发明能够提升分布式存储集群中LRC码的修复性能。

    提升基于局部修复编码的存储系统可靠性的方法及装置

    公开(公告)号:CN110231999B

    公开(公告)日:2020-05-19

    申请号:CN201910454764.0

    申请日:2019-05-29

    Abstract: 本发明公开了一种提升基于局部修复编码的存储系统可靠性的方法及装置,属于计算机存储领域,包括预测调整的步骤和修复回归的步骤;预测调整的步骤包括定期执行如下操作:预测即将发生故障的坏盘,并将其中的所有数据块均标记为坏块;对于每一个坏块Bi,改变分组状态,使得所属的分组Gi内仅保留坏块Bi以及另外一个数据块,且其余数据块被转移,相应更新局部校验块;修复回归的步骤包括:执行修复操作;若修复所得的数据块B被标记为坏块,则将其标记为好块,并在所属分组G中的数据块发生了转移时,将被转移的数据块转移回分组G,并相应更新局部校验块。本发明能够提高基于局部修复编码的存储系统的降级读性能和数据修复性能,从而提升系统可靠性。

    面向基于再生码的分布式存储系统的节点并行修复方法

    公开(公告)号:CN120010784A

    公开(公告)日:2025-05-16

    申请号:CN202510101748.9

    申请日:2025-01-22

    Abstract: 本申请属于计算机分布式存储技术领域,具体公开了一种面向基于再生码的分布式存储系统的节点并行修复方法,该方法包括:分别对待修复集群中每个条带的并行擦除编码有向无环图pECDAG进行初始化;基于所述待修复集群中的节点对初始化后的pECDAG中的顶点进行染色,获得初始修复方案;对所述初始修复方案重复执行修复方案优化过程,直至修复方案的最大修复负载降至最低,获得最终修复方案,所述修复方案优化过程包括:判断当前修复方案中对修复负载影响最大的条带,并对所述对修复负载影响最大的条带的pECDAG中的顶点进行重新染色;基于所述最终修复方案对待修复集群进行修复。

    位线-存储结点解耦的位线感测放大器、存算一体内存储器以及原位矩阵计算方法

    公开(公告)号:CN118748031A

    公开(公告)日:2024-10-08

    申请号:CN202410814184.9

    申请日:2024-06-24

    Abstract: 本发明公开了位线‑存储结点解耦的位线感测放大器、存算一体内存储器微架构以及原位矩阵计算方法,属于存算一体领域,包括:提出了一种包括锁存器、均衡器和失衡器的感测放大器,实现ReRAM位线和存储结点的完全解耦,并基于该感测放大器提出一种级联反馈的位线感测架构,在单行周期时间内使能了预充电一次、读出多个比特的功能,进一步提出了以感测放大器为中心的跨级交错机制,用于连续的列VMM访问,通过利用相邻子阵列之间的开放位线拓扑布局,来提高底层硬件资源利用率。本发明提出的子阵列VMM感测机制和内存级并行化执行机制可以显著提高现代受限于内存的科学并行计算的整体模组性能和执行效率。

    一种基于非对称编解码器的预测服务系统

    公开(公告)号:CN118297114A

    公开(公告)日:2024-07-05

    申请号:CN202410405873.4

    申请日:2024-04-07

    Abstract: 本申请属于计算机分布式计算领域,具体公开一种基于非对称编解码器的预测服务系统。通过本申请,预测服务系统为分布式架构,由1个主节点和k+1个工作节点构成,所述非对称编解码器由基于线性运算的编码器和预训练的基于轻量化神经网络的解码器构成,均部署于主节点,所述k+1个工作节点上部署有相同的可逆机器学习模型。本申请中主节点采用的编码器是基于简单线性编码,编码时间较短;主节点采用的解码器是基于轻量化神经网络的解码器,解码时间比较短,因此降低整体的预测时间;本申请中解码器依据知识蒸馏的训练方式,使得自身的解码效果接近于“无准确率损失的解码方案”,因此恢复准确率高,进而全面提高预测服务系统编码分布式计算的性能。

    一种基于去重系统的分层编码方法、装置及去重系统

    公开(公告)号:CN111831480B

    公开(公告)日:2024-04-19

    申请号:CN202010555796.2

    申请日:2020-06-17

    Abstract: 本发明公开了一种基于去重系统的分层编码方法、装置及去重系统,计算机存储领域,包括:预先将数据块的被引用次数划分为N个层级,并在内存中对应创建N个缓存区作为N个数据容器;编码时,当一个数据块经过去重之后,若是唯一块,则将其被引用次数记为1;否则,将其被引用次数加1;之后,将被引用次数记录到数据块的元数据中,并确定数据块所处的层级,将其存储到对应的数据容器中;当数据容器满时,按照其所处层级对应的编码方式进行编码,并将同一条带中的分块存储到不同的节点中;层级越高,对应的被引用次数范围越大,编码条带越短。本发明能够保证去重系统具有良好的存储效率,同时又保证在数据节点失效时,去重系统具有良好的修复速率。

    一种哈希表的处理方法、装置及电子设备

    公开(公告)号:CN116719813A

    公开(公告)日:2023-09-08

    申请号:CN202310630033.3

    申请日:2023-05-26

    Abstract: 本发明提供一种哈希表的处理方法、装置及电子设备,哈希表位于持久数据层,包括多个哈希桶,每个哈希桶存储多个键值对,在易失性过滤层设置布隆过滤器;其中,哈希桶存储的每个键值对的键被插入到布隆过滤器中,与布隆过滤器中N个位的数据相互映射,哈希桶内任意两个键值对的键在布隆过滤器内映射的数据位不能完全重合,布隆过滤器内一个数据位能够被至少一个键映射;当需要对哈希表内某个键值对内的值进行查找或者删除时,先在布隆过滤器中查找对应的键,若对应的键不存在,则对应的键值对不存在于哈希表内,返回查找失败或删除失败指示,以降低对持久数据层的访问开销,提高对哈希表的负查询性能。本发明提高了对哈希表的处理性能。

    一种在数据去重过程中选择性重写自引用块方法及系统

    公开(公告)号:CN109271353B

    公开(公告)日:2020-11-24

    申请号:CN201811039023.8

    申请日:2018-09-06

    Abstract: 本发明公开了一种在数据去重过程中选择性重写自引用块的方法及系统,包括:获取数据去重过程中的重复块和上次备份的容器总数;判断重复块所在容器ID是否超过上次备份的容器总数,若是,则重复块是自引用块,否则,重复块不是自引用块;创建用于模拟恢复缓存的缓冲区,查找自引用块所在容器ID是否存在于所述缓冲区中,若是,自引用块不是内部碎片块,否则,自引用块是内部碎片块;根据内部碎片块所在容器的利用率是否低于预设阈值,若是,所述内部碎片块将被重写到容器,否则,所述自引用块无需被重写到容器。本发明通过模拟恢复缓存来识别内部碎片块,选择性重写部分内部碎片块来限制重写数量,使得容器利用率增加,恢复性能得到显著提高。

    用于提高数据修复性能的最小存储再生码编码方法及系统

    公开(公告)号:CN110750382B

    公开(公告)日:2020-10-30

    申请号:CN201910880818.X

    申请日:2019-09-18

    Abstract: 本发明公开了一种用于提高数据修复性能的最小存储再生码编码方法及系统,属于计算机存储领域,包括:将原始数据等分为k个数据块,并将每个数据块等分为α个数据分片;将每个校验块等分为α个校验分片;确定用于数据编码的生成矩阵后,对k×α个数据分片进行编码,得到各校验块中的各个校验分片;编码完成后,将数据块和校验块分别存储到不同的存储节点上;定期检查是否存在失效块;若失效块的总数大于编码块数量m,则修复失败;若仅存在一个失效的数据块,则向最不拥塞的d个有效存储节点请求1/(d‑k+1)的数据量来修复失效的数据块;在其他情况下,从m个有效存储节点请求完整的块来修复失效块。本发明能够提高不稳定网络环境中的数据修复性能。

Patent Agency Ranking