数据迁移方法、装置、电子设备及可读存储介质

    公开(公告)号:CN113836116A

    公开(公告)日:2021-12-24

    申请号:CN202111149417.0

    申请日:2021-09-29

    Inventor: 孙业宽 孟祥瑞

    Abstract: 本申请公开了一种数据迁移方法、装置、电子设备及可读存储介质。其中,方法包括预先构建存储性能不同的第一存储池和第二存储池,第一存储池的存储性能优于第二存储池;将目标数据分割为第一子数据和第二子数据,将第一子数据存储至第一存储池,第二子数据存储至第二存储池;当接收到目标数据的迁移指令,将从第一存储池读取的第一子数据写入至第二存储池,同时向元数据服务器发送更新目标数据的存储位置信息的请求;当元数据服务器应答更新完成,从第一存储池删除第一子数据,以完成目标数据的迁移操作,从而可以提高文件迁移效率的基础上,降低文件迁移出错概率。

    一种文件存储方法、装置、设备及计算机可读存储介质

    公开(公告)号:CN113608679A

    公开(公告)日:2021-11-05

    申请号:CN202110729568.7

    申请日:2021-06-29

    Inventor: 孙业宽 孟祥瑞

    Abstract: 本发明公开了一种文件存储方法,该方法包括以下步骤:接收待写入的目标数据文件;判断目标数据文件是否符合固态硬盘与物理硬盘分块存储原则;若是,则从目标数据文件中选取首部数据块;将首部数据块存储至固态硬盘,并将目标数据文件除首部数据块之外的剩余数据存储至物理硬盘。应用本发明所提供的文件存储方法,避免了大文件写固态硬盘导致高性能介质的浪费,使得小文件能真正使用固态硬盘实现加速,提升了存储系统的性能。本发明还公开了一种文件存储装置、设备及存储介质,具有相应技术效果。

    文件校验方法、装置、存储介质及电子设备

    公开(公告)号:CN118916332A

    公开(公告)日:2024-11-08

    申请号:CN202411045417.X

    申请日:2024-07-31

    Abstract: 本申请实施例提供了一种文件校验方法、装置、存储介质及电子设备,涉及文件校验技术领域,该方法包括:根据预设数据大小对目标文件进行分块,得到多个数据块,其中,目标文件表示待校验的文件;通过哈希算法对多个数据块进行计算,得到第一层级校验文件;在目标文件更新之后对第一层级校验文件进行更新,得到第二层级校验文件;对第一层级校验文件和第二层级校验文件进行校验,根据第一层级校验文件和第二层级校验文件中不同的标识确定目标文件的更新数据块。解决了相关技术中,文件校验效率低的问题。

    分布式文件系统的文件锁恢复方法、装置、存储介质和电子设备

    公开(公告)号:CN118862152A

    公开(公告)日:2024-10-29

    申请号:CN202410867676.4

    申请日:2024-06-29

    Abstract: 本申请实施例提供了一种分布式文件系统的文件锁恢复方法、装置、存储介质和电子设备,其中,该方法涉及文件锁领域,包括:响应于接收到客户端与动态链接库建立得到的会话链接,检测是否存在宽限期标识,得到第一检测结果;响应于第一检测结果为会话链接存在宽限期标识的情况下,检测会话链接中的文件元数据是否存在未释放的文件锁,得到第二检测结果;响应于第二检测结果为文件元数据存在未释放的文件锁,控制分布式文件系统进入到文件锁的宽限期,并检测分布式系统的宽限期状态;基于宽限期状态对文件锁进行恢复,得到文件锁恢复结果。通过本申请,解决相关技术中由于文件锁在各个模块之间的一致性较差造成的分布式系统的稳定性较低的问题。

    一种索引文件的处理方法、装置、电子设备及存储介质

    公开(公告)号:CN118227563A

    公开(公告)日:2024-06-21

    申请号:CN202410340575.1

    申请日:2024-03-22

    Abstract: 本发明实施例提供了一种索引文件的处理方法、装置、电子设备及存储介质,方法包括:响应于扫描指令,确定待扫描的日期范围;将所述扫描指令与所述策略索引表中的多条扫描策略进行匹配,确定与所述扫描指令对应的目标扫描策略;确定与所述目标扫描策略对应的日期信息,并根据所述日期范围从所述日期信息中确定目标日期信息;获取所述目标日期信息对应的当前索引文件,并对所述当前索引文件进行扫描。这样,在对所有的索引文件进行扫描时,通过策略索引表缩小扫描范围,再通过日期索引表需求量一步缩小扫描范围,从而从所有的索引文件中精准地确定出需要进行扫描的索引文件,提高了扫描效率,降低了扫描成本。

    用于硬盘数据故障预测的样本获取方法、装置、设备

    公开(公告)号:CN117951529A

    公开(公告)日:2024-04-30

    申请号:CN202410347260.X

    申请日:2024-03-26

    Abstract: 本公开涉及机器学习领域,具体涉及用于硬盘数据故障预测的样本获取方法、装置、设备,方法包括:获取硬盘数据的训练样本以及训练样本对应的样本标签;根据训练样本,构建出生成虚拟样本的第一故障模型;根据样本标签,构建出生成虚拟样本对应的虚拟标签的第二故障模型;根据训练样本、样本标签、第一故障模型以及第二故障模型,确定所述虚拟样本和所述虚拟标签;根据虚拟样本和虚拟标签,得到用于硬盘数据故障预测的目标训练样本和目标训练样本对应的目标样本标签。本公开利用机器学习和混合学习相结合的方式,能够处理好硬盘故障领域中常见的数据不平衡问题,从而提升后续模型对少数类样本的关注程度,从而提升模型的整体预测识别能力。

    一种数据迁移方法和装置
    17.
    发明授权

    公开(公告)号:CN113821167B

    公开(公告)日:2024-02-13

    申请号:CN202110998411.4

    申请日:2021-08-27

    Inventor: 孙业宽 孟祥瑞

    Abstract: 本发明公开了一种数据迁移方法和装置,方法包括:响应于接收到数据写入请求而将数据写入请求所请求写入的文件写入高级存储池;响应于所请求写入的文件已经被写入高级存储池而在元数据服务器确定数据写入请求所请求写入的文件是大文件还是小文件;响应于所请求写入的是大文件而将大文件的元数据写入大文件表,响应于所请求写入的是小文件而将小文件的元数据写入索引表;响应于判定满足执行数据迁移的条件而由元数据服务器将大文件表中的大文件依照其元数据顺序从高级存储池迁移到普通存储池。本发明能够提升数据文件迁移效率,避免高级存储介质写穿,提升用户体验和用户满意度,提高产品的竞争力。

    快照管理方法、装置、元数据服务器及存储介质

    公开(公告)号:CN117312235A

    公开(公告)日:2023-12-29

    申请号:CN202311255048.2

    申请日:2023-09-26

    Abstract: 本发明涉及计算机存储技术领域,公开了快照管理方法、装置、元数据服务器及存储介质。快照管理方法,应用于第一元数据服务器,包括:接收快照创建请求,快照创建请求用于请求创建目标文件的快照,以及将第一保护时长作为快照的保护期,第一保护时长小于或者等于指定时长阈值;配置第一保护时长作为快照的保护期,得到目标快照;若在保护期内接收到删除目标快照的删除指令,则拒绝执行删除指令,以保护目标快照。在该方式中,能够在保护期内对目标快照进行针对性保护,以降低目标快照被误删除的情况发生,从而有助于提高快照存储的安全性。

    分布式文件存储系统会话控制的保活方法、设备及介质

    公开(公告)号:CN116886754A

    公开(公告)日:2023-10-13

    申请号:CN202311086430.5

    申请日:2023-08-28

    Abstract: 本发明提出了一种分布式文件存储系统会话控制的保活方法、设备及介质,其中,方法包括:为会话控制配置默认优先级和次高优先级,其中,默认优先级低于次高优先级;配置会话控制以默认优先级或次高优先级向元数据服务节点发送心跳信息和其它请求信息;由元数据服务节点接收会话控制发送的心跳信息以及其它请求信息存入消息队列,并根据心跳信息以及请求信息的优先等级选择性的进行处理。本发明通过为session分配默认优先级以及次高优先级,并以默认优先级或次高优先级向MDS发送session请求和session心跳,从而避免二者任一长时间占用MDS的大锁从而造成对方的处理不及时。

    一种数据迁移方法和装置
    20.
    发明公开

    公开(公告)号:CN113821167A

    公开(公告)日:2021-12-21

    申请号:CN202110998411.4

    申请日:2021-08-27

    Inventor: 孙业宽 孟祥瑞

    Abstract: 本发明公开了一种数据迁移方法和装置,方法包括:响应于接收到数据写入请求而将数据写入请求所请求写入的文件写入高级存储池;响应于所请求写入的文件已经被写入高级存储池而在元数据服务器确定数据写入请求所请求写入的文件是大文件还是小文件;响应于所请求写入的是大文件而将大文件的元数据写入大文件表,响应于所请求写入的是小文件而将小文件的元数据写入索引表;响应于判定满足执行数据迁移的条件而由元数据服务器将大文件表中的大文件依照其元数据顺序从高级存储池迁移到普通存储池。本发明能够提升数据文件迁移效率,避免高级存储介质写穿,提升用户体验和用户满意度,提高产品的竞争力。

Patent Agency Ranking