数据处理方法、系统、存储集群、设备及可读存储介质

    公开(公告)号:CN118466859B

    公开(公告)日:2024-10-11

    申请号:CN202410924980.8

    申请日:2024-07-11

    Abstract: 本发明公开了一种数据处理方法、系统、存储集群、设备及可读存储介质,涉及存储领域,为解决采用多层耦合码修复速度慢的问题,该数据处理方法包括通过多层耦合码将原始数据划分为若干个数据块和校验块,并将各个数据块和各个校验块均划分为若干个子块后进行编码,得到每一子块的原始编码;获取格雷码序列,按格雷码序列及原始编码调整各个子块的排列顺序,按照调整后的排列顺序将各个子块写入对应的存储节点;当满足单块数据修复条件时,通过多层耦合码确定故障块,从存储节点中读取故障块对应的待访问子块,通过待访问子块对故障块进行数据修复。本发明能够将对子块大量的随机访问转换为少量的顺序访问,从而减少修复访问数量,提高修复效率。

    一种多级缓存管理方法、装置、设备及可读存储介质

    公开(公告)号:CN115509962A

    公开(公告)日:2022-12-23

    申请号:CN202211238751.8

    申请日:2022-10-10

    Abstract: 本申请公开了一种多级缓存管理方法、装置、设备及可读存储介质,该方法包括:每次命中多级缓存中底层缓存层的I/O请求数据后,利用命中信息动态更新对应上层缓存层的概率值;在需要驱逐上层缓存层中的一个目标I/O请求数据时,生成随机数;若随机数小于概率值,则利用LRU算法选出目标I/O请求数据;若随机数大于等于概率值,则利用LFU算法选出目标I/O请求数据;驱逐目标I/O请求数据。本申请面对复杂场景下的I/O请求,能够较为灵活地匹配不同的访问模式,从而自适应对当前的I/O请求数据进行合理调度和替换。即,本申请可以将底层缓存层与上次缓存层动态结合起来进行管理,从而实现多层缓存层的相互协同,最终有效提升缓存命中率。

    数据处理方法、系统、存储集群、设备及可读存储介质

    公开(公告)号:CN118466859A

    公开(公告)日:2024-08-09

    申请号:CN202410924980.8

    申请日:2024-07-11

    Abstract: 本发明公开了一种数据处理方法、系统、存储集群、设备及可读存储介质,涉及存储领域,为解决采用多层耦合码修复速度慢的问题,该数据处理方法包括通过多层耦合码将原始数据划分为若干个数据块和校验块,并将各个数据块和各个校验块均划分为若干个子块后进行编码,得到每一子块的原始编码;获取格雷码序列,按格雷码序列及原始编码调整各个子块的排列顺序,按照调整后的排列顺序将各个子块写入对应的存储节点;当满足单块数据修复条件时,通过多层耦合码确定故障块,从存储节点中读取故障块对应的待访问子块,通过待访问子块对故障块进行数据修复。本发明能够将对子块大量的随机访问转换为少量的顺序访问,从而减少修复访问数量,提高修复效率。

    一种面向高密度存储服务器的快速磁盘修复方法和系统

    公开(公告)号:CN115237665A

    公开(公告)日:2022-10-25

    申请号:CN202210893252.6

    申请日:2022-07-27

    Abstract: 本发明公开一种面向高密度存储服务器的快速磁盘修复方法和系统,属于计算机存储领域。包括:根据故障磁盘确定需要修复的所有条带;从正常磁盘中读取需要修复条带的所有幸存块;计算各幸存块从磁盘被读入内存所需要的时间;构建所有可能的[a,b]组合;根据各幸存块从磁盘被读入内存所需要的时间,计算各个[a,b]组合下磁盘修复时间T;采用磁盘修复时间最小对应的[a,b]组合,进行故障磁盘的修复;a表示条带内并行度,b表示条带间并行度,且a*b=内存中可容纳数据块的数量。本发明根据当前的服务器内所有磁盘的传输速度状况,选择合理的条带内并行度和条带间并行度,使得磁盘修复时间得以最小化,从而尽可能快地修复出丢失数据,提升修复性能与系统的可靠性。

    一种SSD的管理方法、系统、服务器、装置及存储介质

    公开(公告)号:CN115904257A

    公开(公告)日:2023-04-04

    申请号:CN202310159782.2

    申请日:2023-02-24

    Abstract: 本发明公开了一种SSD的管理方法、系统、服务器、装置及存储介质,应用于存储领域,获取SSD中的block的信息;根据信息确定block的数据水位,数据水位为block中的有效数据占存储空间的比例;在数据水位小于第一阈值时,根据磨损情况确定待回收的block;将待回收的block中的有效数据保存至预设的存储空间;基于所述SSD的存储空间将读写指令或有效数据及读写指令合并为新的读写指令发送至SSD。根据block的信息确定待回收的block,基于存储空间进行数据迁移,将迁移的有效数据与读写指令合并发送至SSD,数据回收不影响对SSD的读写,避免造成用户请求的性能波动和延时波动。

    一种全闪存储系统的恢复方法及相关装置

    公开(公告)号:CN115309591A

    公开(公告)日:2022-11-08

    申请号:CN202211231242.2

    申请日:2022-10-10

    Inventor: 张凯 刚亚州 王见

    Abstract: 本申请公开了一种全闪存储系统的恢复方法,涉及存储技术领域,包括:当逻辑卷的元数据clean时,标记所述逻辑卷的元数据的状态为clean状态;当全闪存储系统恢复上电后,读取所述逻辑卷的元数据的状态;若所述逻辑卷的元数据为所述clean状态,则访问所述逻辑卷的正向元数据。该方法能够实现全闪存储系统掉电故障后快速恢复,缩短修复时间,提高整个存储系统的可用性、可靠性以及安全性。本申请还公开了一种全闪存储系统的恢复装置、设备以及计算机可读存储介质,均具有上述技术效果。

    一种分布式块存储服务中的逻辑卷拷贝方法

    公开(公告)号:CN110673797A

    公开(公告)日:2020-01-10

    申请号:CN201910893903.X

    申请日:2019-09-20

    Abstract: 本申请公开了一种分布式块存储服务中的逻辑卷拷贝方法、装置、设备及可读存储介质,包括:根据拷贝任务,确定原卷、目标卷和拷贝速率;根据拷贝速率的大小,确定用于执行拷贝任务的线程的目标数量;启动目标数量的线程,并为各个线程分配原卷中的对象;并行调用各个线程遍历自身分配得到的各个对象,若当前对象中存在业务数据,则将业务数据写入目标卷中与当前对象对应的对象中;否则删除目标卷中与当前对象对应的对象中的业务数据。可见,该方案在拷贝过程中能够将已有的卷作为目标卷,无需创建新卷,且允许用户设置拷贝速率,根据拷贝速率的大小调用相应数量的线程并行执行数据的拷贝,显著提升了拷贝速率,减少了耗时。

    一种应用于服务器的日志读取装置及服务器

    公开(公告)号:CN109254900A

    公开(公告)日:2019-01-22

    申请号:CN201810994359.3

    申请日:2018-08-29

    Inventor: 刘振 张凯

    Abstract: 本发明公开了一种应用于服务器的日志读取装置及服务器,包括信号转换芯片、USB连接器及功能切换装置。服务器的BMC将第二UART接口的功能集成在第一UART接口的物理输出线上。功能切换装置依据用户需求控制BMC切换第一UART接口的两个功能,使其对应输出系统日志或BMC管理日志。然后,信号转换芯片将UART信号转换为USB信号,使用户将治具插接至USB连接器便可读取所需服务器日志。由于USB连接器设于机箱外侧,所以用户在读取日志时无需打开机箱盖,从而简化了读取过程,节约了时间,提高了读取效率;且无需插拔治具便可连续读取系统日志和BMC管理日志,从而减少了治具的插拔次数,提高了用户的体验效果。

    一种数据迁移方法、装置及电子设备和存储介质

    公开(公告)号:CN115826885B

    公开(公告)日:2023-05-09

    申请号:CN202310140582.2

    申请日:2023-02-21

    Inventor: 李雪生 张凯 孙斌

    Abstract: 本申请公开了一种数据迁移方法、装置及电子设备和存储介质,涉及存储技术领域,该方法包括:接收用户态的应用程序发送的数据传输请求;将所述数据传输请求对应的读写数据划分为多个数据子段;利用多个数据迁移线程并行对多个所述数据子段在所述用户态的应用程序和内核态的缓存之间进行数据迁移;其中,所述数据迁移线程与所述数据子段一一对应。本申请提高了用户态和内核态之间的数据迁移效率。

    一种数据迁移方法、装置及电子设备和存储介质

    公开(公告)号:CN115826885A

    公开(公告)日:2023-03-21

    申请号:CN202310140582.2

    申请日:2023-02-21

    Inventor: 李雪生 张凯 孙斌

    Abstract: 本申请公开了一种数据迁移方法、装置及电子设备和存储介质,涉及存储技术领域,该方法包括:接收用户态的应用程序发送的数据传输请求;将所述数据传输请求对应的读写数据划分为多个数据子段;利用多个数据迁移线程并行对多个所述数据子段在所述用户态的应用程序和内核态的缓存之间进行数据迁移;其中,所述数据迁移线程与所述数据子段一一对应。本申请提高了用户态和内核态之间的数据迁移效率。

Patent Agency Ranking