-
公开(公告)号:CN115129676A
公开(公告)日:2022-09-30
申请号:CN202210867272.6
申请日:2022-07-22
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/178 , G06F16/182 , G06F16/16 , H04L67/1095
Abstract: 本申请公开了一种数据同步方法、装置、设备及介质,涉及分布式文件存储集群技术领域,包括:基于待同步远端集群对应的秘钥、互联网协议地址和链接名称,建立本地集群与待同步远端集群之间的连接关系;通过连接关系记录本地集群的本地目录和待同步远端集群的远端目录,以得到本地集群与待同步远端集群之间的复制关系;基于复制关系、本地目录以及本地目录中的数据资源,对待同步远端集群进行目录快照级别的数据同步,以得到与本地集群相对应的同步后远端集群;判断当前是否满足预设容灾后数据同步条件,若满足则利用复制关系获取同步后远端集群中远端目录对应的数据资源,进行目录快照级别的数据同步。在进行数据同步的过程中不影响其他业务进行。
-
公开(公告)号:CN113806295B
公开(公告)日:2024-02-23
申请号:CN202111093200.2
申请日:2021-09-17
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/11 , G06F16/182
Abstract: 本申请公开了一种文件迁移方法、系统、设备及计算机可读存储介质,应用于分布式文件存储系统中的客户端,确定高速存储池中待迁移至慢速存储池中的目标文件;控制分布式文件存储系统中的元数据服务器禁止快照目标文件的元数据;控制分布式文件存储系统中的对象存储集群禁止快照高速存储池中的目标文件。本申请中,客户端在确定待迁移的目标文件之后,需控制分布式文件存储系统中的元数据服务器禁止快照目标文件的元数据,这样可以避免目标文件的元数据的无效快照占用存储资源;且需控制分布式文件存储系统中的对象存储集群禁止快照高速存储池中的目标文件,可以避免目标文件的无效快照占用存储资源;可以降低分布式文件存储系统中的资源浪费。
-
公开(公告)号:CN113821490A
公开(公告)日:2021-12-21
申请号:CN202110977549.6
申请日:2021-08-24
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/178 , G06F16/17 , G06F16/14 , G06F16/11
Abstract: 本申请实施例公开了一种数据同步方法及装置,通过生成主存储设备的第一快照,将第一快照内包括的一个或多个文件复制至从存储设备,在接收用户对主存储设备中一个或多个文件的处理后,生成主存储设备的第二快照,比较第一快照中包括的文件和第二快照中包括的文件,确定第一快照和第二快照中的差异文件,差异文件可以是新增的文件或修改的文件,将差异文件复制至从存储设备。由此可见,本申请实施例提供生成两个不同时刻的快照,在两个不同时刻的快照中确定差异文件,将差异文件复制至从存储设备,实现将主存储设备中的文件精准复制到从存储设备,保证数据的安全性。
-
公开(公告)号:CN113806295A
公开(公告)日:2021-12-17
申请号:CN202111093200.2
申请日:2021-09-17
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/11 , G06F16/182
Abstract: 本申请公开了一种文件迁移方法、系统、设备及计算机可读存储介质,应用于分布式文件存储系统中的客户端,确定高速存储池中待迁移至慢速存储池中的目标文件;控制分布式文件存储系统中的元数据服务器禁止快照目标文件的元数据;控制分布式文件存储系统中的对象存储集群禁止快照高速存储池中的目标文件。本申请中,客户端在确定待迁移的目标文件之后,需控制分布式文件存储系统中的元数据服务器禁止快照目标文件的元数据,这样可以避免目标文件的元数据的无效快照占用存储资源;且需控制分布式文件存储系统中的对象存储集群禁止快照高速存储池中的目标文件,可以避免目标文件的无效快照占用存储资源;可以降低分布式文件存储系统中的资源浪费。
-
公开(公告)号:CN113553298A
公开(公告)日:2021-10-26
申请号:CN202110780250.1
申请日:2021-07-09
Applicant: 济南浪潮数据技术有限公司
Abstract: 本发明公开了一种大小写不敏感的目录分片、列表加载、查找方法及设备,目录分片方法包括步骤一,扫描目录下的所有文件名,统计文件名中不同字母组合的个数;步骤二,判断所述步骤一中得到的个数是否大于1,如果等于1,则进入步骤三,如果大于1,则进入步骤四;步骤三,根据实际的文件名创建子分片;步骤四,根据文件名的大写组合均匀进行分片。本发明增加了父子分片,对由于大小写不敏感造成的大分片,进行分片,这些分片作为原分片的子分片,可用性强,不会引起分片过大。
-
公开(公告)号:CN113625962B
公开(公告)日:2023-12-29
申请号:CN202110780425.9
申请日:2021-07-09
Applicant: 济南浪潮数据技术有限公司
Abstract: 本发明提供一种分布式存储的动态子树优化方法、系统、终端及存储介质,包括:监控元数据服务进程热度,并将热度超过预设热度阈值的元数据服务进程作为待均衡进程;获取待均衡进程的热点目录的缓存数据量,若缓存数据量超过预设数据阈值则查找热点目录下的子热点目录作为均衡目录;获取均衡目录的目录数量和预先选定的目标元数据服务进程的单次接受目录数量阈值,根据目标元数据服务进程的单次接受目录数量阈值分批次向目标元数据服务进程导入均衡目录。本发明优化了动态子树过程,降低动态子树导致的存储业务波动,提升了分布式文件存储系统的业务流畅程度和可用性。
-
公开(公告)号:CN114996054A
公开(公告)日:2022-09-02
申请号:CN202210611162.3
申请日:2022-05-31
Applicant: 济南浪潮数据技术有限公司
IPC: G06F11/14 , G06F15/16 , H04L67/1095 , H04L67/1097
Abstract: 本申请公开了一种存储集群数据备份方法、装置、设备及存储介质,涉及数据备份领域。该方法包括:根据目标远端集群的参数信息创建本地集群与所述目标远端集群的通信连接,以构建得到主集群与从集群之间的通信连接;根据备份信息,创建所述主集群的主目录与所述从集群的从目录之间用于远程复制的复制链路;创建所述主目录对应的主目录快照,通过所述复制链路将所述主目录快照对应的主目录数据复制到所述从目录,并在所述从目录创建对应的从目录快照,以实现所述主集群的数据在所述从集群的备份。可以实现分布式文件存储集群的异步容灾。
-
公开(公告)号:CN113625962A
公开(公告)日:2021-11-09
申请号:CN202110780425.9
申请日:2021-07-09
Applicant: 济南浪潮数据技术有限公司
Abstract: 本发明提供一种分布式存储的动态子树优化方法、系统、终端及存储介质,包括:监控元数据服务进程热度,并将热度超过预设热度阈值的元数据服务进程作为待均衡进程;获取待均衡进程的热点目录的缓存数据量,若缓存数据量超过预设数据阈值则查找热点目录下的子热点目录作为均衡目录;获取均衡目录的目录数量和预先选定的目标元数据服务进程的单次接受目录数量阈值,根据目标元数据服务进程的单次接受目录数量阈值分批次向目标元数据服务进程导入均衡目录。本发明优化了动态子树过程,降低动态子树导致的存储业务波动,提升了分布式文件存储系统的业务流畅程度和可用性。
-
公开(公告)号:CN113672436B
公开(公告)日:2024-08-23
申请号:CN202110875863.3
申请日:2021-07-30
Applicant: 济南浪潮数据技术有限公司
Abstract: 本发明公开了一种容灾备份方法、装置、设备及存储介质,该方法包括:确定主集群下需进行容灾备份的目录为均指定目录;定时在所述指定目录下创建快照得到待备份快照,并将所述待备份快照以覆盖已存储数据的方式异步复制至从集群的对应指定文件中;在存储有所述待备份快照的指定文件下创建快照得到重备份快照,以供所述主集群发生故障时使用;其中,单个从集群中包含的所述指定文件与所述指定目录一一对应。本申请在主集群发生故障时,不仅可以通过上述文件获取到对应目录最新的快照数据,还可以通过在上述文件下创建的快照获取到对应目录历史上其他时刻的快照数据,进而正常使用所需的快照数据,从而极大的提高了数据稳定性。
-
公开(公告)号:CN113672436A
公开(公告)日:2021-11-19
申请号:CN202110875863.3
申请日:2021-07-30
Applicant: 济南浪潮数据技术有限公司
Abstract: 本发明公开了一种容灾备份方法、装置、设备及存储介质,该方法包括:确定主集群下需进行容灾备份的目录为均指定目录;定时在所述指定目录下创建快照得到待备份快照,并将所述待备份快照以覆盖已存储数据的方式异步复制至从集群的对应指定文件中;在存储有所述待备份快照的指定文件下创建快照得到重备份快照,以供所述主集群发生故障时使用;其中,单个从集群中包含的所述指定文件与所述指定目录一一对应。本申请在主集群发生故障时,不仅可以通过上述文件获取到对应目录最新的快照数据,还可以通过在上述文件下创建的快照获取到对应目录历史上其他时刻的快照数据,进而正常使用所需的快照数据,从而极大的提高了数据稳定性。
-
-
-
-
-
-
-
-
-