一种日志存储的方法、系统、设备和存储介质

    公开(公告)号:CN116149944A

    公开(公告)日:2023-05-23

    申请号:CN202310139828.4

    申请日:2023-02-17

    Inventor: 张其万

    Abstract: 本发明提供一种日志存储的方法、系统、设备和存储介质,方法包括:在日志中设置配置项以给元数据操作的日志预留预设长度;响应于对元数据操作的日志进行裁剪,根据裁剪的日志的位置判断裁剪的日志的长度是否大于所述预留预设长度;响应于裁剪的日志的长度小于或等于所述预留预设长度,保留元数据操作的日志并更新到内存中;以及响应于裁剪的日志的长度大于所述预留预设长度,保留所述预留预设长度后再对元数据操作的日志进行裁剪。本发明通过增加预留的元数据操作的日志的长度,当文件系统发生异常时,将元数据操作的日志文件读取出来,进行问题的分析、定位、解决。

    一种容灾备份方法、装置、设备及存储介质

    公开(公告)号:CN113672436B

    公开(公告)日:2024-08-23

    申请号:CN202110875863.3

    申请日:2021-07-30

    Abstract: 本发明公开了一种容灾备份方法、装置、设备及存储介质,该方法包括:确定主集群下需进行容灾备份的目录为均指定目录;定时在所述指定目录下创建快照得到待备份快照,并将所述待备份快照以覆盖已存储数据的方式异步复制至从集群的对应指定文件中;在存储有所述待备份快照的指定文件下创建快照得到重备份快照,以供所述主集群发生故障时使用;其中,单个从集群中包含的所述指定文件与所述指定目录一一对应。本申请在主集群发生故障时,不仅可以通过上述文件获取到对应目录最新的快照数据,还可以通过在上述文件下创建的快照获取到对应目录历史上其他时刻的快照数据,进而正常使用所需的快照数据,从而极大的提高了数据稳定性。

    一种分布式文件系统的文件迁移方法、装置及介质

    公开(公告)号:CN115309701A

    公开(公告)日:2022-11-08

    申请号:CN202211048204.3

    申请日:2022-08-30

    Inventor: 张其万

    Abstract: 本申请公开了一种分布式文件系统的文件迁移方法、装置及介质,涉及分布式文件系统领域,为了在用户需要使用文件的时候将文件迁移至快速池,不使用的时候及时将文件迁移回慢速池,本申请提供预先设置好文件时间标志及大于时间策略和小于时间策略,若文件时间标志满足大于时间策略,将当前文件加入慢索引表,并根据慢索引表中记录的文件信息将文件从快速池迁移至慢速池,若文件时间标志满足需要时间策略,将当前文件加入快索引表,并根据快索引表中记录的文件信息将文件从慢速池迁移至快速池,保证了文件在用户需要时能快速迁移回快速池,在用户不需要使用文件时,迁移回慢速池,实现了文件分级回迁功能,提升了批量操作文件性能。

    一种容灾备份方法、装置、设备及存储介质

    公开(公告)号:CN113672436A

    公开(公告)日:2021-11-19

    申请号:CN202110875863.3

    申请日:2021-07-30

    Abstract: 本发明公开了一种容灾备份方法、装置、设备及存储介质,该方法包括:确定主集群下需进行容灾备份的目录为均指定目录;定时在所述指定目录下创建快照得到待备份快照,并将所述待备份快照以覆盖已存储数据的方式异步复制至从集群的对应指定文件中;在存储有所述待备份快照的指定文件下创建快照得到重备份快照,以供所述主集群发生故障时使用;其中,单个从集群中包含的所述指定文件与所述指定目录一一对应。本申请在主集群发生故障时,不仅可以通过上述文件获取到对应目录最新的快照数据,还可以通过在上述文件下创建的快照获取到对应目录历史上其他时刻的快照数据,进而正常使用所需的快照数据,从而极大的提高了数据稳定性。

    分布式存储系统的性能数据获取方法、装置、设备及介质

    公开(公告)号:CN114020717A

    公开(公告)日:2022-02-08

    申请号:CN202111199037.8

    申请日:2021-10-14

    Inventor: 张其万

    Abstract: 本申请公开了一种分布式文件存储系统的性能数据获取方法、装置、电子设备及可读存储介质。其中,方法包括预先在元数据服务器处理消息的目标节点位置进行插桩,以用于采集操作语义数据;获取分布式文件存储系统运行过程中元数据服务器的负载信息和操作语义数据信息;通过分析操作语义数据信息和负载信息,自动调整元数据服务器的缓存数据量。本申请可精准、高效地分析分布式文件存储系统的存储性能。

    一种删除目录项的方法、系统、设备和存储介质

    公开(公告)号:CN113704193A

    公开(公告)日:2021-11-26

    申请号:CN202110929378.X

    申请日:2021-08-13

    Inventor: 张其万 孟祥瑞

    Abstract: 本发明提供了一种删除目录项的方法、系统、设备和存储介质,方法包括:将游离目录中待删除的目录项填充到对应的结构体中,对所述结构体进行编码,并将编码后的结构体以事件的形式写入日志文件中;将所述待删除的目录项的元数据删除,在当前线程之外新增存储线程,并判断流控参数是否符合预设要求;响应于所述流控参数符合预设要求,依次读取所述日志文件中的每个事件;以及将每个所述事件对应的待删除的目录项的信息放入所述存储线程,并对所述待删除的目录项的实际内容进行删除。本发明通过将删除的目录项的元数据写入日志文件,删除相应的元数据,同时用另一个线程读取日志文件中的删除事件进行删除下发,可以较好完成对删除过程的控制,提高产品的稳定性。

    一种删除目录项的方法、系统、设备和存储介质

    公开(公告)号:CN113704193B

    公开(公告)日:2025-03-07

    申请号:CN202110929378.X

    申请日:2021-08-13

    Inventor: 张其万 孟祥瑞

    Abstract: 本发明提供了一种删除目录项的方法、系统、设备和存储介质,方法包括:将游离目录中待删除的目录项填充到对应的结构体中,对所述结构体进行编码,并将编码后的结构体以事件的形式写入日志文件中;将所述待删除的目录项的元数据删除,在当前线程之外新增存储线程,并判断流控参数是否符合预设要求;响应于所述流控参数符合预设要求,依次读取所述日志文件中的每个事件;以及将每个所述事件对应的待删除的目录项的信息放入所述存储线程,并对所述待删除的目录项的实际内容进行删除。本发明通过将删除的目录项的元数据写入日志文件,删除相应的元数据,同时用另一个线程读取日志文件中的删除事件进行删除下发,可以较好完成对删除过程的控制,提高产品的稳定性。

    一种数据同步方法及装置
    8.
    发明公开

    公开(公告)号:CN113821490A

    公开(公告)日:2021-12-21

    申请号:CN202110977549.6

    申请日:2021-08-24

    Abstract: 本申请实施例公开了一种数据同步方法及装置,通过生成主存储设备的第一快照,将第一快照内包括的一个或多个文件复制至从存储设备,在接收用户对主存储设备中一个或多个文件的处理后,生成主存储设备的第二快照,比较第一快照中包括的文件和第二快照中包括的文件,确定第一快照和第二快照中的差异文件,差异文件可以是新增的文件或修改的文件,将差异文件复制至从存储设备。由此可见,本申请实施例提供生成两个不同时刻的快照,在两个不同时刻的快照中确定差异文件,将差异文件复制至从存储设备,实现将主存储设备中的文件精准复制到从存储设备,保证数据的安全性。

    一种优化快照的方法、系统、设备和存储介质

    公开(公告)号:CN116089361A

    公开(公告)日:2023-05-09

    申请号:CN202310142365.7

    申请日:2023-02-17

    Inventor: 张其万

    Abstract: 本发明提供一种优化快照的方法、系统、设备和存储介质,方法包括:设置单目录下的第一快照阈值和文件系统中的第二快照阈值;响应于创建快照并且单目录下的快照个数达到所述第一快照阈值或文件系统中的快照个数达到所述第二快照阈值,向管理界面发送告警信息;以及响应于删除快照并且单目录下的快照个数小于所述第一快照阈值或文件系统中的快照个数小于所述第二快照阈值,向管理界面发送告警恢复信息。本发明通过限制单目录下的快照个数和文件系统的快照个数,提升用户的使用体验,增强文件系统的稳定性,维护了文件系统的性能。

Patent Agency Ranking