一种存储系统、数据存储方法、设备、产品及介质

    公开(公告)号:CN118377442B

    公开(公告)日:2024-10-18

    申请号:CN202410831919.9

    申请日:2024-06-26

    Inventor: 王传义 孙业宽

    Abstract: 本申请提供一种存储系统、数据存储方法、设备、产品及介质,涉及存储系统技术领域,所述存储系统包括:第一存储集群和第二存储集群;第一存储集群中布署有元数据统一命名空间;第一存储集群所在的区域距离业务系统小于预设距离,第二存储集群所在的区域距离业务系统不小于所述预设距离,第二存储集群中包含的多个第二存储节点所在的区域互不相同,多个第二存储节点分别通过目标协议接入第一存储集群,能够通过第一存储集群实现高性能和低延迟的数据访问,通过第二存储集群提供大容量的存储资源,满足业务系统对大规模数据存储的需求,并通过元数据统一命名空间和目标协议实现存储系统的数据在不同区域的管理和访问,满足了业务系统对数据存储的需求。

    一种存储系统、数据存储方法、设备、产品及介质

    公开(公告)号:CN118377442A

    公开(公告)日:2024-07-23

    申请号:CN202410831919.9

    申请日:2024-06-26

    Inventor: 王传义 孙业宽

    Abstract: 本申请提供一种存储系统、数据存储方法、设备、产品及介质,涉及存储系统技术领域,所述存储系统包括:第一存储集群和第二存储集群;第一存储集群中布署有元数据统一命名空间;第一存储集群所在的区域距离业务系统小于预设距离,第二存储集群所在的区域距离业务系统不小于所述预设距离,第二存储集群中包含的多个第二存储节点所在的区域互不相同,多个第二存储节点分别通过目标协议接入第一存储集群,能够通过第一存储集群实现高性能和低延迟的数据访问,通过第二存储集群提供大容量的存储资源,满足业务系统对大规模数据存储的需求,并通过元数据统一命名空间和目标协议实现存储系统的数据在不同区域的管理和访问,满足了业务系统对数据存储的需求。

    文件迁移方法、装置、分布式文件存储系统及电子设备

    公开(公告)号:CN117194325A

    公开(公告)日:2023-12-08

    申请号:CN202311160210.2

    申请日:2023-09-08

    Abstract: 本申请提供一种文件迁移方法、装置、分布式文件存储系统及电子设备,该方法包括:获取用户对分布式文件存储系统的文件迁移请求;将文件迁移请求,拆分为若干个文件迁移任务;将若干个文件迁移任务,分散写入预设共享存储的工作任务列表,以将若干个文件迁移任务分配至多个文件迁移进程;基于文件迁移进程,按照工作任务列表并行处理若干个文件迁移任务,以响应文件迁移请求。上述方案提供的方法,通过拆分文件迁移请求为若干个文件迁移任务,并基于预设的多个文件迁移进程并行处理这些文件迁移任务,以使该文件迁移请求能够在短时间内得到响应,提高了文件迁移效率。

    一种监控和迁移状态机的方法、系统、设备和介质

    公开(公告)号:CN116974987A

    公开(公告)日:2023-10-31

    申请号:CN202310954001.9

    申请日:2023-07-31

    Abstract: 本发明提供一种监控和迁移状态机的方法、系统、设备和存储介质,方法包括:通过元数据服务周期性扫描迁移表,将多个文件组合成迁移任务,并将迁移任务发送给迁移客户端;通过迁移客户端遍历迁移任务中的文件,逐个文件进行迁移,标记迁移状态并统计文件迁移过程请求数;响应于迁移任务中的文件全部迁移完成,记录每个文件的迁移结果,构造迁移任务应答,发送给元数据服务;以及通过元数据服务遍历迁移任务应答结果,记录迁移成功和失败情况。本发明在分级迁移过程全流程跟踪统计,记录迁移文件数、迁移异常、迁移过程耗时,通过这些信息优化迁移性能,并从侧面反映存储系统的异常和性能情况。

    一种数据上报方法、装置、设备及存储介质

    公开(公告)号:CN116431593A

    公开(公告)日:2023-07-14

    申请号:CN202310416609.6

    申请日:2023-04-13

    Inventor: 孙业宽

    Abstract: 本申请公开了一种数据上报方法、装置、设备及存储介质,涉及分布式存储集群技术领域,用于解决目前检索结果易出错的缺点,包括:接收用户上传的当前日志,并基于所述当前日志生成对应的同步日志;从所述同步日志中确定目标日志,并解析所述目标日志以得到对应的解析信息;基于所述解析信息以及预设日志消费规则消费所述目标日志,以得到对应的日志消费结果;基于所述日志消费结果以及预设日志处理规则处理所述目标日志,以得到处理后信息。本申请通过记录每一次当前日志对应的同步日志,并在确定目标日志之后进行消费,根据日志消费结果处理所述目标日志,保证故障异常数据不丢失,提高了检索效率以及稳定性。

    一种数据管理方法、装置、设备及存储介质

    公开(公告)号:CN114968926A

    公开(公告)日:2022-08-30

    申请号:CN202210606084.8

    申请日:2022-05-31

    Inventor: 孙业宽 刘洪栋

    Abstract: 本申请公开了一种数据管理方法、装置、设备及存储介质,涉及分布式存储集群领域,包括:接收元数据服务集群上传的数据变更信息;基于所述数据变更信息生成层级变更表并基于所述数据搜索分析引擎中存储的全部数据信息生成全量表;接收用户发送的检索请求,并基于所述检索请求按照预设检索方式在所述层级变更表中进行检索,以得到检索结果;基于所述检索结果在所述全量表中进行检索,以得到与所述检索请求对应的目标信息;将所述目标信息返回至网页以便用户查看。本申请中数据搜索分析引擎通过接到的数据变更信息构建数据库表,根据用户的检索请求在数据库表中检索,提高了数据的检索效率以及产品的竞争力。

    硬盘故障预测方法、装置、计算机设备及存储介质

    公开(公告)号:CN120032700A

    公开(公告)日:2025-05-23

    申请号:CN202510120705.5

    申请日:2025-01-24

    Abstract: 本发明涉及硬盘故障预测技术领域,公开了硬盘故障预测方法、装置、计算机设备及存储介质,方法包括:获取开源训练集;基于开源训练集对初始深度学习模型进行预训练,得到预训练深度学习模型;将预训练深度学习模型的网络结构和模型参数迁移到目标模型;获取待检测硬盘在历史运行过程中产生的历史硬盘自检数据和历史硬盘性能数据;以历史硬盘自检数据和历史硬盘性能数据为目标训练集,待检测硬盘的故障状态为标签,对目标模型进行训练,以获得硬盘故障预测模型;获取待检测硬盘在当前运行过程中产生的当前硬盘自检数据和当前硬盘性能数据,并将其输入硬盘故障预测模型,确定待检测硬盘的故障预测结果。本发明提高了硬盘故障诊断的准确率。

    一种目录快照回滚方法、装置、电子设备及存储介质

    公开(公告)号:CN119226037A

    公开(公告)日:2024-12-31

    申请号:CN202411266177.6

    申请日:2024-09-10

    Abstract: 本发明实施例提供了一种目录快照回滚方法、装置、电子设备及存储介质,通过获取元数据日志;构建针对所述元数据日志的目录树,以及所述目录树的叶节点;当所述元数据日志变更时,获取数据变更日志;基于所述数据变更日志确定数据变更类型,并基于所述数据变更类型修改所述目录树的所述叶节点;将经修改的所述叶节点确定为被更新节点;基于所述被更新节点确定所述目录树的层次结构;基于所述层次结构执行目录快照回滚,实现了对文件系统变化的精细跟踪,为各种需要历史数据和回滚功能的应用提供了有力支持,从而提升了目录快照的回滚效率。

    路径信息落盘方法、装置、计算机设备、介质及程序产品

    公开(公告)号:CN118245463A

    公开(公告)日:2024-06-25

    申请号:CN202410411610.4

    申请日:2024-04-07

    Abstract: 本发明涉及分布式文件系统技术领域,公开了路径信息落盘方法、装置、计算机设备、介质及程序产品,包括:获取路径信息列表;对路径信息列表进行遍历,获取遍历到的节点的节点号和待落盘路径信息;根据预设对象划分参数和遍历到的节点的节点号,确定遍历到的节点的归属对象,并将遍历到的节点的节点号和待落盘路径信息存储到相应的归属对象;确定每个归属对象的节点数量;根据目标归属对象中的节点数量和预设数量阈值,确定目标归属对象的数据处理轮次数和每一数据处理轮次的处理节点数量;根据目标归属对象的数据处理轮次数和每一数据处理轮次的处理节点数量,对待落盘路径信息进行落盘操作。本发明可以减短落盘路径信息的时长,并减轻网络压力。

    一种访问审计的方法、装置、设备及介质

    公开(公告)号:CN117170971A

    公开(公告)日:2023-12-05

    申请号:CN202311117486.2

    申请日:2023-08-31

    Inventor: 孙业宽

    Abstract: 本发明提出一种访问审计的方法、装置、设备及介质,其中,一种访问审计的方法,包括:基于分布式存储系统中不同客户端对历史操作审计的频率配置统一审计格式的审计策略;将所述审计策略发送至所述分布式存储系统中每一个元数据服务节点;响应于所述元数据服务节点接收到元数据请求,所述元数据服务节点基于所述审计策略对所述元数据请求对应的操作进行审计;所述元数据服务节点异步将审计结果上报到目标数据库。本发明公开的方案有利于系统对异常操作的统一分析,实现了整个分布式存储系统的全面智能审计。

Patent Agency Ranking