数据处理方法、系统、存储集群、设备及可读存储介质

    公开(公告)号:CN118466859B

    公开(公告)日:2024-10-11

    申请号:CN202410924980.8

    申请日:2024-07-11

    Abstract: 本发明公开了一种数据处理方法、系统、存储集群、设备及可读存储介质,涉及存储领域,为解决采用多层耦合码修复速度慢的问题,该数据处理方法包括通过多层耦合码将原始数据划分为若干个数据块和校验块,并将各个数据块和各个校验块均划分为若干个子块后进行编码,得到每一子块的原始编码;获取格雷码序列,按格雷码序列及原始编码调整各个子块的排列顺序,按照调整后的排列顺序将各个子块写入对应的存储节点;当满足单块数据修复条件时,通过多层耦合码确定故障块,从存储节点中读取故障块对应的待访问子块,通过待访问子块对故障块进行数据修复。本发明能够将对子块大量的随机访问转换为少量的顺序访问,从而减少修复访问数量,提高修复效率。

    一种多级缓存管理方法、装置、设备及可读存储介质

    公开(公告)号:CN115509962A

    公开(公告)日:2022-12-23

    申请号:CN202211238751.8

    申请日:2022-10-10

    Abstract: 本申请公开了一种多级缓存管理方法、装置、设备及可读存储介质,该方法包括:每次命中多级缓存中底层缓存层的I/O请求数据后,利用命中信息动态更新对应上层缓存层的概率值;在需要驱逐上层缓存层中的一个目标I/O请求数据时,生成随机数;若随机数小于概率值,则利用LRU算法选出目标I/O请求数据;若随机数大于等于概率值,则利用LFU算法选出目标I/O请求数据;驱逐目标I/O请求数据。本申请面对复杂场景下的I/O请求,能够较为灵活地匹配不同的访问模式,从而自适应对当前的I/O请求数据进行合理调度和替换。即,本申请可以将底层缓存层与上次缓存层动态结合起来进行管理,从而实现多层缓存层的相互协同,最终有效提升缓存命中率。

    数据处理方法、系统、存储集群、设备及可读存储介质

    公开(公告)号:CN118466859A

    公开(公告)日:2024-08-09

    申请号:CN202410924980.8

    申请日:2024-07-11

    Abstract: 本发明公开了一种数据处理方法、系统、存储集群、设备及可读存储介质,涉及存储领域,为解决采用多层耦合码修复速度慢的问题,该数据处理方法包括通过多层耦合码将原始数据划分为若干个数据块和校验块,并将各个数据块和各个校验块均划分为若干个子块后进行编码,得到每一子块的原始编码;获取格雷码序列,按格雷码序列及原始编码调整各个子块的排列顺序,按照调整后的排列顺序将各个子块写入对应的存储节点;当满足单块数据修复条件时,通过多层耦合码确定故障块,从存储节点中读取故障块对应的待访问子块,通过待访问子块对故障块进行数据修复。本发明能够将对子块大量的随机访问转换为少量的顺序访问,从而减少修复访问数量,提高修复效率。

    一种数据预取方法、系统、电子设备及计算机存储介质

    公开(公告)号:CN116955223A

    公开(公告)日:2023-10-27

    申请号:CN202311196670.0

    申请日:2023-09-18

    Abstract: 本发明公开了一种数据预取方法、系统、电子设备及计算机存储介质,涉及缓存技术领域,获取记录的目标数据组;获取记录的目标数据组中各个数据的历史访问时间戳组;在目标数据组中,将符合预设时间相邻规则的每两个历史访问时间戳组对应的数据作为关联数据组,以基于关联数据组进行数据预取。本发明可以对数据的历史访问时间戳组进行记录,并只需对历史访问时间戳组进行分析,便可以确定出关联数据组,过程简便、内存开销小,适用性好。本发明提供的一种数据预取系统、电子设备及计算机可读存储介质也解决了相应技术问题。

    针对非易失内存的数据安全处理方法、内存控制器及系统

    公开(公告)号:CN115422604A

    公开(公告)日:2022-12-02

    申请号:CN202210979822.3

    申请日:2022-08-16

    Abstract: 本发明公开了针对非易失内存的数据安全处理方法、内存控制器及系统,属于内存安全技术领域,包括:构建传统BMT作为Back_BMT,以其中某一层节点为叶子节点构建BMT作为Fore_BMT,其叶子节点对应的Back_BMT子树和NVM空间分别为Region_BMT和区域;将数据块B从CPU写回NVM时,从Back_BMT中读取B的计数器并更新,之后更新B所属区域R对应的Region_BMT,并将该Region_BMT加入Fore_BMT保护;对B进行加密后写入NVM;将Region_BMT加入Fore_BMT保护,包括:若Fore_BMT中不存在与其相对应的叶子节点,在从Fore_BMT中优先分配空闲或已同步的叶子节点,若分配不成功,则从Fore_BMT选取一个叶子节点Fore_Victim,根据Fore_Victim更新Back_BMT后,利用该Region_BMT更新Fore_BMT。本发明能够保障安全NVM中元数据崩溃可恢复,并降低BMT根节点更新的开销。

    提升分布式存储集群中LRC码修复性能的方法、装置及系统

    公开(公告)号:CN110347526A

    公开(公告)日:2019-10-18

    申请号:CN201910570969.5

    申请日:2019-06-28

    Abstract: 本发明公开了一种提升分布式存储集群中LRC码修复性能的方法、装置及系统,属于计算机存储领域,包括:执行LRC编码以生成相应的条带;对于每一个条带,将其中的每一个局部组进一步划分为一个或多个小分组后,将同一个小分组内的编码块放置到同一个机架中的不同节点,不同的小分组放置到不同机架中;对单个编码块进行修复时,获得待修复编码块所在的目标小分组,以及同一局部组内的其他小分组;在各小分组所在机架内,由中继节点收集同一小分组内的编码块,并解码得到中间结果;在目标小分组所在机架内,由目标节点收集中间结果后,解码以修复得到待修复的编码块并存储该编码块,从而完成修复操作。本发明能够提升分布式存储集群中LRC码的修复性能。

    基于动态溯源图的异常检测方法及系统

    公开(公告)号:CN119449445A

    公开(公告)日:2025-02-14

    申请号:CN202411644219.5

    申请日:2024-11-18

    Inventor: 谢雨来 吴林 冯丹

    Abstract: 本发明公开了基于动态溯源图的异常检测方法及系统,属于网络异常检测领域,包括:构建溯源图,将各节点的节点特征和与该节点相连的边的特征拼接作为对应节点的状态特征向量;持续监测系统溯源信息并对溯源图进行动态更新;当生成新的边et时,执行:将et、围绕et的图结构在t‑时刻的状态向量st‑以及et的生成时刻t输入图注意力网络,得到et的嵌入向量z,并对et的源、目的节点进行更新;将z输入解码器,预测et的类型,得到预测向量P(et);解码器包括依次连接长短期记忆网络和多个全连接层;计算P(et)与et的实际边类型向量之间的重构误差RE,若RE>Th,则判定存在异常,否则,判定不存在异常。本发明能够提高异常检测的检测精度和实时性。

    提高分布式固态盘键值缓存系统可靠性的方法及系统

    公开(公告)号:CN110442535A

    公开(公告)日:2019-11-12

    申请号:CN201910655375.4

    申请日:2019-07-19

    Abstract: 本发明公开了一种提高分布式固态盘键值缓存系统可靠性的方法及系统,属于计算机存储领域,包括:写操作步骤,写入数据的同时缓存数据,将同一固态盘服务器的数据聚合为数据块,并执行纠删码编码得到条带,条带中一个校验块写入内存服务器,其余编码块写入不同的固态盘服务器;更新操作步骤,更新数据块,同时计算更新差值,利用更新差值更新内存服务器中的校验块,并将更新差值记录到日志中;以及降级读操作步骤,按照数据块、内存服务器中的校验块、固态盘服务器中的校验块的优先级顺序,依次获取条带内的其他编码块,并在成功获取到n个编码块时,解码得到丢失数据块。本发明能够提高分布式固态盘键值缓存系统的可靠性,并优化系统性能。

    一种基于顶点关联度的图数据布局方法

    公开(公告)号:CN108959460A

    公开(公告)日:2018-12-07

    申请号:CN201810627678.0

    申请日:2018-06-15

    Abstract: 本发明公开了一种基于顶点关联度的图数据布局方法,包括:将图数据转化为压缩稀疏行结构,得到顶点关联度数组;从图数据中随机获取初始顶点加入初始队列,将初始顶点加入重映射数组;将初始队列中顶点的邻居列表加入层次队列;根据顶点关联度数组计算层次队列中各个顶点和滑动窗口中所有顶点之间的顶点关联度之和,将顶点关联度之和最大的顶点作为最优点加入重映射数组;判断是否层次队列中所有顶点都加入重映射数组,如果是则执行上一步,否则执行下一步;将初始队列清空,将层次队列中所有顶点加入初始队列,将层次队列清空,直至顶点重映射操作完成,得到最优重映射数组。本发明对于遍历式图,能够有效减少内存随机访问,缩短应用执行时间。

Patent Agency Ranking