数据恢复方法、装置、设备、介质及计算机程序产品

    公开(公告)号:CN118585381B

    公开(公告)日:2025-01-28

    申请号:CN202411067545.4

    申请日:2024-08-06

    Inventor: 张新亮 侯斌

    Abstract: 本发明实施例提供了一种数据恢复方法、装置、设备、介质及计算机程序产品,应用于源对象存储设备,包括:判断源对象存储设备和目标对象存储设备是否位于同一节点;若是,则当接收到所述目标对象存储设备发送的目标盘的控制器内存地址时,通过直接内存访问方式将对象数据写入目标盘的控制器内存中;若否,则确定所述源对象存储设备对应的第一节点和所述目标对象存储设备对应的第二节点,当接收到所述目标对象存储设备发送的目标盘的控制器内存地址时,基于所述目标盘的控制器内存地址读取所述对象数据,并通过网卡的网络数据传输方式将所述对象数据写入目标盘的控制器内存中。

    一种数据处理方法、分布式存储系统、产品、设备及介质

    公开(公告)号:CN118519589B

    公开(公告)日:2024-10-22

    申请号:CN202410993685.8

    申请日:2024-07-24

    Abstract: 本发明公开了一种数据处理方法、分布式存储系统、产品、设备及介质,涉及分布式存储技术领域。该方法在分布式存储节点上通过使用控制器内存缓冲区,使得网卡可以直接将数据传输到存储器上,实现了卸载主机内存,避免了使用主存储器作为数据传输的中转站而需要进行两次直接存储访问的操作,减少了占用的主存储器的大部分带宽,提高了对存储业务的处理速度,提升了分布式存储系统的性能;且在使用控制器内存缓冲区进行内存卸载后,节省了分布式存储节点的内存容量使用,降低了分布式存储节点的硬件成本;且在将业务数据放置在控制器内存缓冲区的基础上,当检测到目标地址属于控制器内存缓冲区地址,则对业务数据进行保存,实现了业务数据的持久化。

    一种分布式存储系统的数据恢复控制方法及相关装置

    公开(公告)号:CN115080312A

    公开(公告)日:2022-09-20

    申请号:CN202210832818.4

    申请日:2022-07-15

    Inventor: 张新亮

    Abstract: 本申请公开了一种分布式存储系统的数据恢复控制方法,包括:当存储池有设置数据恢复模式时,根据存储池设置的数据恢复模式确定存储池的数据恢复速度;当存储池未设置数据恢复模式时,检测存储池的默认数据恢复模式;当存储池的默认数据恢复模式不是未定义模式时,根据存储池的默认数据恢复模式确定存储池的数据恢复速度;当存储池的默认数据恢复模式是未定义模式时,根据集群的数据恢复模式确定存储池的数据恢复速度。该方法对存储池进行针对性的数据恢复控制,可以使数据恢复更加灵活,颗粒度更加细致。本申请还公开了一种分布式存储系统的数据恢复控制装置、设备以及计算机可读存储介质,均具有上述技术效果。

    一种数据处理方法、分布式存储系统、产品、设备及介质

    公开(公告)号:CN118519589A

    公开(公告)日:2024-08-20

    申请号:CN202410993685.8

    申请日:2024-07-24

    Abstract: 本发明公开了一种数据处理方法、分布式存储系统、产品、设备及介质,涉及分布式存储技术领域。该方法在分布式存储节点上通过使用控制器内存缓冲区,使得网卡可以直接将数据传输到存储器上,实现了卸载主机内存,避免了使用主存储器作为数据传输的中转站而需要进行两次直接存储访问的操作,减少了占用的主存储器的大部分带宽,提高了对存储业务的处理速度,提升了分布式存储系统的性能;且在使用控制器内存缓冲区进行内存卸载后,节省了分布式存储节点的内存容量使用,降低了分布式存储节点的硬件成本;且在将业务数据放置在控制器内存缓冲区的基础上,当检测到目标地址属于控制器内存缓冲区地址,则对业务数据进行保存,实现了业务数据的持久化。

    确定数据丢失的方法、装置、设备及存储介质

    公开(公告)号:CN117149487A

    公开(公告)日:2023-12-01

    申请号:CN202311093044.9

    申请日:2023-08-28

    Inventor: 张新亮

    Abstract: 本发明涉及存储技术领域,公开了确定数据丢失的方法、装置、设备及存储介质。该方法包括:获取待处理的存储设备集合。根据存储设备集合,获取与存储设备集合对应的集合信息修改记录。从集合信息修改记录中,读取存储设备集合中存储设备成员的成员信息,存储设备集合包括多个存储设备成员,且多个存储设备成员中包括至少一个目标存储设备。分别从存储设备集合中除目标存储设备之外的至少一个存储设备成员上读取与自身对应的数据修改记录。根据集合信息修改记录,以及至少一个存储设备成员上读取的数据修改记录,确定是否存在丢失数据。本发明可以确定删除某个存储设备是否会导致数据丢失。

    一种数据恢复方法、装置、设备及存储介质

    公开(公告)号:CN113672435A

    公开(公告)日:2021-11-19

    申请号:CN202110779566.9

    申请日:2021-07-09

    Inventor: 张新亮 孟祥瑞

    Abstract: 本发明公开了一种数据恢复方法、装置、设备及存储介质;在本方案中,归置组在数据恢复时,检测到对象存储设备的剩余空间不小于阈值之后,还需要确定当前对象存储设备的其他归置组在进行数据恢复时所需的总空间,与本归置组进行数据恢复时所需的目标空间之和,并判断其是否大于该对象存储设备的可用空间;如果大于可用空间,则停止进行数据恢复,通过该方式,可以在对象存储设备的多个归置组同时进行数据恢复时,避免出现对象存储设备写满的情况,进而避免出现因对象存储设备写满导致的OSD进程宕掉且无法恢复的问题。

    实现分布式存储的加速芯片纠删码插件的优化方法及装置

    公开(公告)号:CN113672431A

    公开(公告)日:2021-11-19

    申请号:CN202110866372.2

    申请日:2021-07-29

    Inventor: 张新亮 孟祥瑞

    Abstract: 本发明提供一种实现分布式存储的加速芯片纠删码插件的优化方法及装置,所述方法包括如下步骤:S1.在加速芯片的纠删码插件的分层结构内设置适配层,并在适配层设置适配逻辑模块、加速芯片编解码接口调用模块以及软件编解码接口调用模块;S2.初始化分布式存储系统的纠删码存储池,并读取纠删码配置文件;S3.判断纠删码配置文件中纠删码插件是否为加速芯片插件,并在纠删码插件为加速芯片插件时,采用加速芯片进行编解码,以及在纠删码插件不是加速芯片插件时,加载软件编码插件,使用CPU进行编解码。本发明通过在加速芯片原有的分层结构添加适配层,优化了纠删码插件适配及编解码的逻辑,提高了分布式存储系统的可靠性和稳定性。

    存储空间的管理方法及装置、存储介质及电子设备

    公开(公告)号:CN119322587A

    公开(公告)日:2025-01-17

    申请号:CN202411337793.6

    申请日:2024-09-24

    Inventor: 张新亮 李文鹏

    Abstract: 本申请实施例提供了一种存储空间的管理方法及装置、存储介质及电子设备,涉及计算机领域,包括:获取待处理的对象数据;响应于客户端发送的业务请求,从分布式存储系统的存储硬盘中确定出所述对象数据对应的第一存储空间;在检测到所述第一存储空间中包含异常存储空间的情况下,对所述异常存储空间进行隔离,并记录所述异常存储空间的第一空间位置和第一时间信息;从所述存储硬盘中确定出执行所述业务请求所需要的第二存储空间,并通过所述第二存储空间完成所述客户端与所述分布式存储系统之间的数据交互。

    实现分布式存储的加速芯片纠删码插件的优化方法及装置

    公开(公告)号:CN113672431B

    公开(公告)日:2023-12-22

    申请号:CN202110866372.2

    申请日:2021-07-29

    Inventor: 张新亮 孟祥瑞

    Abstract: 本发明提供一种实现分布式存储的加速芯片纠删码插件的优化方法及装置,所述方法包括如下步骤:S1.在加速芯片的纠删码插件的分层结构内设置适配层,并在适配层设置适配逻辑模块、加速芯片编解码接口调用模块以及软件编解码接口调用模块;S2.初始化分布式存储系统的纠删码存储池,并读取纠删码配置文件;S3.判断纠删码配置文件中纠删码插件是否为加速芯片插件,并在纠删码插件为加速芯片插件时,采用加速芯片进行编解码,以及在纠删码插件不是加速芯片插件时,加载软件编码插件,使用CPU进行编解码。本发明通过在加速芯片原有的分层结构添加适配层,优化了纠删码插件适配及编解码的逻辑,提高了分布式存储系统的可靠性和稳定性。

    一种分布式存储系统的数据恢复方法、装置、系统及介质

    公开(公告)号:CN115454726A

    公开(公告)日:2022-12-09

    申请号:CN202211293442.0

    申请日:2022-10-21

    Inventor: 张新亮

    Abstract: 本发明公开了一种分布式存储系统的数据恢复方法,涉及存储领域,为分布式存储系统的PG设置了一个状态信号,按照资源预约队列的顺序对PG进行数据恢复,当存在需要恢复的数据无法读取且当前PG的状态信号为默认值时,将状态信号更改为异常值,并将当前PG调整到资源预约队列的最后一位,当存在数据无法读取且状态信号为异常值时,证明可以正常读取的数据已经恢复完成,则结束数据恢复,这种方式保证了正常数据的恢复,将需要恢复的数据尽可能地恢复完成,保障了整个系统的数据的可靠性和安全性。本发明还公开了一种分布式存储系统的数据恢复装置、系统和计算机可读存储介质,具有与上述分布式存储系统的数据恢复方法相同的有益效果。

Patent Agency Ranking