-
公开(公告)号:CN116974476A
公开(公告)日:2023-10-31
申请号:CN202310947906.3
申请日:2023-07-31
Applicant: 济南浪潮数据技术有限公司
IPC: G06F3/06
Abstract: 本发明提供了一种分布式存储文件系统下目录数据池选择的方法,该方法通过基于数据池层的目录多数据池设置、基于阈值控制的数据池溢出和基于业务热度的数据池层间溢出等技术,实现分布式文件系统充分利用数据池资源,优化系统的业务性能。通过该方法,能够在目录下新写入文件短期内需要大量访问时选择高性能数据池,同时在高性能数据池空间有限时,合理地进行数据溢出,以保障上层业务的性能,提高整个文件系统的稳定性和用户体验。
-
公开(公告)号:CN116069728A
公开(公告)日:2023-05-05
申请号:CN202310142377.X
申请日:2023-02-17
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/13 , G06F16/178 , G06F16/182
Abstract: 本发明提供一种校验目录一致性的方法、系统、设备和存储介质,方法包括:响应于文件系统远程复制完成,提取包括文件创建时间、访问时间、修改时间和状态改变时间在内的元数据信息;根据校验对象确定需要校验的元数据信息,并比对主从端对应的所述需要校验的元数据信息是否一致;响应于主从端对应的所述需要校验的元数据信息一致,根据比对模式比对主从端对应的文件内容是否一致;以及根据上述步骤按照层级结构从上到下依次轮询目录和文件直到出现不一致或所有目录和文件均比对完成。本发明通过对主从端使用轮询比对的方式提取比对文件和目录的元数据信息进行一致性校验,从而确保数据的一致性。
-
公开(公告)号:CN114020686A
公开(公告)日:2022-02-08
申请号:CN202111200664.9
申请日:2021-10-14
Applicant: 济南浪潮数据技术有限公司
Inventor: 夏令洲
IPC: G06F16/11 , G06F16/16 , G06F16/17 , G06F16/178 , G06F16/18 , G06F16/182
Abstract: 本发明提出了基于差异日志的文件快照同步方法、系统、设备和介质,该方法包括采用元数据日志记录第一快照和第二快照之间的文件修改操作;第一快照为主集群和从集群完成同步时的快照;第二快照为在打了第一快照之后主集群通过一段时间增量同步的快照;采用差异日志记录每起文件修改操作的变化数据,并根据文件修改操作的变化数据实现主集群和从集群的同步。基于该方法,还提出了差异日志的文件快照同步系统、设备和介质。本发明设计元数据日志记录文件修改操作,设计差异日志记录文件修改操作的具体内容,找出不同快照之间的差异,差异日志根据具体情况区分使用文件变化范围和位图,显著的提升比对效率和减小差异量,提高了增量复制的效率。
-
公开(公告)号:CN119226037A
公开(公告)日:2024-12-31
申请号:CN202411266177.6
申请日:2024-09-10
Applicant: 济南浪潮数据技术有限公司
Abstract: 本发明实施例提供了一种目录快照回滚方法、装置、电子设备及存储介质,通过获取元数据日志;构建针对所述元数据日志的目录树,以及所述目录树的叶节点;当所述元数据日志变更时,获取数据变更日志;基于所述数据变更日志确定数据变更类型,并基于所述数据变更类型修改所述目录树的所述叶节点;将经修改的所述叶节点确定为被更新节点;基于所述被更新节点确定所述目录树的层次结构;基于所述层次结构执行目录快照回滚,实现了对文件系统变化的精细跟踪,为各种需要历史数据和回滚功能的应用提供了有力支持,从而提升了目录快照的回滚效率。
-
公开(公告)号:CN116743667A
公开(公告)日:2023-09-12
申请号:CN202310954007.6
申请日:2023-07-31
Applicant: 济南浪潮数据技术有限公司
Inventor: 夏令洲
IPC: H04L47/215 , H04L47/6275 , H04L47/20 , H04L67/1095 , H04L67/06
Abstract: 本发明提供一种数据传输限流的方法、系统、设备和存储介质,方法包括:响应于创建复制任务,设置每个复制任务对应的优先级;通过每个节点上的远程复制进程定时检测当前节点的空闲资源占用率,并根据所述空闲资源占用率确定所述当前节点的资源令牌;通过主节点按照优先级从高到低的顺序依次将复制任务分配到当前资源令牌最多的节点;以及响应于节点中任意一项资源的占用率超过远程复制限流值,降低复制频率。本发明基于任务优先级和节点空闲令牌进行限流,在不影响集群正常业务的前提下,尽可能的利用节点资源,将资源向高优先级的任务倾斜。
-
公开(公告)号:CN116383161A
公开(公告)日:2023-07-04
申请号:CN202310018869.8
申请日:2023-01-06
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/178 , G06F16/182
Abstract: 本申请涉及分布式存储领域,公开了一种文件同步方法、装置以及介质,通过对主目录中的文件进行同步快照以得到目标快照;根据目标快照和基准快照的对应关系确认同步类型;基准快照为最近一次同步成功时间点的数据备份;根据同步类型,调用多线程对文件进行同步。相对于当前技术中,使用单线程进行数据同步导致的同步效率较慢,采用本技术方案,通过对主集群中的文件进行快照,并与最近一次同步成功时间点的数据备份得到的基准快照进行比较,从而确认目标快照和基准快照的对应关系,并根据目标快照和基准快照的对应关系确认同步类型,根据同步类型调用多线程进行数据同步,从而提高了同步效率。
-
公开(公告)号:CN118916332A
公开(公告)日:2024-11-08
申请号:CN202411045417.X
申请日:2024-07-31
Applicant: 济南浪潮数据技术有限公司
Abstract: 本申请实施例提供了一种文件校验方法、装置、存储介质及电子设备,涉及文件校验技术领域,该方法包括:根据预设数据大小对目标文件进行分块,得到多个数据块,其中,目标文件表示待校验的文件;通过哈希算法对多个数据块进行计算,得到第一层级校验文件;在目标文件更新之后对第一层级校验文件进行更新,得到第二层级校验文件;对第一层级校验文件和第二层级校验文件进行校验,根据第一层级校验文件和第二层级校验文件中不同的标识确定目标文件的更新数据块。解决了相关技术中,文件校验效率低的问题。
-
公开(公告)号:CN118245439A
公开(公告)日:2024-06-25
申请号:CN202410439229.9
申请日:2024-04-11
Applicant: 济南浪潮数据技术有限公司
Abstract: 本发明涉及快照技术领域,具体涉及快照保护方法、装置、计算机设备、存储介质及程序产品。获取目标快照对应的逻辑时钟初始时间;逻辑时钟初始时间表征创建目标快照时对应的逻辑时钟的时间;基于逻辑时钟初始时间,对目标目录或目标文件创建目标快照;设定目标快照对应的保护期;基于逻辑时钟初始时间进行计时,在保护期内对目标快照进行保护。实现了对目标快照的保护,从而可以防止目标快照被恶意或无意删除。可以帮助用户保护和快速恢复数据,以减轻恶意软件或勒索软件攻击的影响。此外,基于逻辑时钟初始时间,在保护期内对目标快照进行保护,可以避免逻辑时钟初始时间被更改,从而可以避免目标快照被非法删除的隐患。
-
公开(公告)号:CN117076204A
公开(公告)日:2023-11-17
申请号:CN202311086302.0
申请日:2023-08-28
Applicant: 济南浪潮数据技术有限公司
Inventor: 夏令洲
Abstract: 本发明涉及分布式存储领域,尤其涉及一种远程复制任务恢复方法、装置、设备及介质。所述方法包括:利用主线程对主集群上两个时间点快照对应的目录树上所有目录和所有文件自下而上依次执行轮询比对操作并对差异执行复制操作;响应于任意目录执行完轮询比对操作则在从集群目录树上为对应目录打标识;响应于发生中断导致远程复制任务未完成退出且再次启动远程复制任务,则基于目录、各文件对应的复制操作执行结果对已打标识进行修复;根据从集群目录树上修复后的标识对重新轮询比对的目录树上的目录和文件进行筛选;利用主线程重新对筛选出的目录和所有文件自下而上执行轮询比对操作。本发明的方案实现了远程复制任务断点续传,提升轮询比对的效率。
-
公开(公告)号:CN116886754A
公开(公告)日:2023-10-13
申请号:CN202311086430.5
申请日:2023-08-28
Applicant: 济南浪潮数据技术有限公司
IPC: H04L67/145 , H04L67/1097 , H04L67/61
Abstract: 本发明提出了一种分布式文件存储系统会话控制的保活方法、设备及介质,其中,方法包括:为会话控制配置默认优先级和次高优先级,其中,默认优先级低于次高优先级;配置会话控制以默认优先级或次高优先级向元数据服务节点发送心跳信息和其它请求信息;由元数据服务节点接收会话控制发送的心跳信息以及其它请求信息存入消息队列,并根据心跳信息以及请求信息的优先等级选择性的进行处理。本发明通过为session分配默认优先级以及次高优先级,并以默认优先级或次高优先级向MDS发送session请求和session心跳,从而避免二者任一长时间占用MDS的大锁从而造成对方的处理不及时。
-
-
-
-
-
-
-
-
-