一种对象存储系统中聚合对象的同步方法和系统

    公开(公告)号:CN113553325B

    公开(公告)日:2025-02-21

    申请号:CN202110676401.9

    申请日:2021-06-18

    Abstract: 本发明实施例中提供了一种对象存储系统中聚合对象的同步方法和系统,具体包括:从站点发送http请求,获取主站点的data_log中的桶分片信息;从站点通过所述桶分片信息中对象的索引信息,分析所述对象是否需要同步;若需要同步,则从站点发送get请求,获取主站点的所述对象;主站点根据所述对象的聚合特性读取所述对象的数据信息,并将所述对象的数据信息返回从站点;从站点按照预设的存储规则将所述对象的数据信息同步到从站点的存储集群中。本发明实施例提供的聚合对象的同步方法和系统,解决了对象存储系统中,站点间同步时同步特性和聚合特性不兼容的问题,提高了存储产品的适用性,提高了对象存储的竞争力。

    一种聚合多版本小对象的方法、装置及设备

    公开(公告)号:CN113821166B

    公开(公告)日:2024-09-20

    申请号:CN202110962671.6

    申请日:2021-08-20

    Abstract: 本申请公开了一种聚合多版本小对象的方法、装置及设备,该方法包括:首先获取待聚合的至少一个目标多版本小对象,然后,对至少一个目标多版本小对象进行标记,并将标记记录到存储池中,接着,当获取到的目标多版本小对象的数量达到预设数量时,根据标记对目标多版本小对象进行聚合,并将得到的大对象进行存储;或者,当根据标记对目标多版本小对象进行聚合得到的大对象达到预设数值时,停止进行聚合,并将得到的大对象进行存储。从而能够减少分布式对象存储系统中小对象的存储数量,提高重构速度和兼容性,进而提高系统的存储速度。

    一种数据查询方法、装置及可读存储介质

    公开(公告)号:CN115470189A

    公开(公告)日:2022-12-13

    申请号:CN202211296548.6

    申请日:2022-10-21

    Abstract: 本申请公开一种数据查询方法、装置及可读存储介质,涉及电子信息领域。本申请所提供的数据查询方法,应用于源站点,通过从目标站点中获取日志分片中的同步标记,从而获取得到对应的桶,将桶的名称发送至对应的目标站点,从而获取得到目标站点中对应的同步中的桶的配额以及源站点中的对应的桶的配额,依据两者的比值,即可获取得到对应的同步进度,对于同步速度的获取也可以通过联系周期时间获取,和以往的仅仅通过软件进行数据查询相比,由于能直接获取得到同步的进度以及速度,因此解决了当前数据同步功能中无法精准查询源站点和目的站点之间数据同步进度和速度的难题。

    一种确定op操作失败的方法、装置、设备及介质

    公开(公告)号:CN115237715A

    公开(公告)日:2022-10-25

    申请号:CN202210870899.7

    申请日:2022-07-22

    Abstract: 本申请公开了一种确定op操作失败的方法、装置、设备及介质,涉及分布式存储技术领域。该方法包括:根据op操作建立map缓存容器和rados对象,map缓存容器与rados对象一一对应;获取op操作的操作信息并存储于map缓存容器,之后将操作信息下刷并存储于rados对象;当rados对象中含有表征op操作失败的操作信息时确定失败。由于建立的map缓存容器能够存储op操作的全部操作信息,并存储在一起建立的rados对象中,在rados对象中若判断含有表征op操作失败的操作信息,则确定op操作失败。无需技术人员通过日志分析op操作是否失败,提升了查错效率和存储效率。

    桶分片处理方法、装置、设备及介质

    公开(公告)号:CN114995759A

    公开(公告)日:2022-09-02

    申请号:CN202210608909.X

    申请日:2022-05-31

    Abstract: 本申请公开了一种桶分片处理方法、装置、设备及介质,涉及计算机技术领域,该方法包括:判断当前任务队列中是否存在待处理桶分片,若存在则从当前任务队列中提取出当前待处理桶分片,获取下一任务队列;对下一任务队列进行第一预设加锁处理,对当前待处理桶分片进行重分片得到若干个目标桶分片;基于目标桶分片的分片数量对所有第一对象进行分区得到若干组第二对象,将每一组第二对象转移至对应的目标桶分片中;对下一任务队列进行第一预设解锁处理,将下一任务队列更新为当前任务队列,重新跳转至判断当前任务队列中是否存在待处理桶分片的步骤。能够降低重分片对前端业务的负面影响。

    一种数据同步方法、装置、设备及计算机可读存储介质

    公开(公告)号:CN113806445A

    公开(公告)日:2021-12-17

    申请号:CN202111094464.X

    申请日:2021-09-17

    Abstract: 本申请公开了一种数据同步方法、装置、设备及计算机可读存储介质,应用于分布式对象存储系统,获取待同步的目标数据;确定目标数据的写入时间戳;确定各个已有同步策略的生成时间戳;将小于写入时间戳且与写入时间戳最接近的生成时间戳对应的已有同步策略,确定为目标同步策略;基于目标同步策略对目标数据进行同步。本申请中,目标数据及同步策略均有相应的时间戳,且需将小于写入时间戳且与写入时间戳最接近的生成时间戳对应的已有同步策略,确定为目标同步策略,使得目标同步策略与目标数据相匹配,这样,基于目标同步策略对目标数据进行同步的话,可以提高目标数据的同步准确性。

    一种数据同步的异常检测方法和装置

    公开(公告)号:CN113420082A

    公开(公告)日:2021-09-21

    申请号:CN202110594461.6

    申请日:2021-05-28

    Abstract: 本发明公开了一种数据同步的异常检测方法和装置,方法包括:在作为数据同步的目的端的从站点遍历多个对象桶的多个桶分片,分别获取多个桶分片的最后写入对象的当前从站点对象标识;从作为数据同步的源端的主站点获取在每个桶分片中与多个当前从站点对象标识一一对应的多个当前主站点对象标识;将一一对应的多个当前从站点对象标识和多个当前主站点对象标识相互比较,并在从站点读取桶分片同步进度对象属性监视器中的历史从站点对象标识和历史主站点对象标识;基于上述比较和读取的结果确定特定桶分片为同步异常的桶分片。本发明能够精准检测数据同步的异常现象,优化数据同步功能,提升使用体验。

    一种存储系统的对象上传方法、系统、设备及存储介质

    公开(公告)号:CN115185951A

    公开(公告)日:2022-10-14

    申请号:CN202210905689.7

    申请日:2022-07-29

    Abstract: 本申请公开了一种存储系统的对象上传方法、系统、设备及存储介质,应用于存储技术领域。包括:为存储系统中的桶设置桶的多级索引目录,并为各级目录结构下的各个桶分片设置对应于桶分片的虚拟桶分片;确定出目标桶,基于待上传对象的对象名确定出待上传对象在目标桶下的目录结构;将待上传对象的目录结构转换为校验值并映射至预设的数值空间中,得到对应于校验值的第一数值;确定出在待上传对象的目录结构下,数值空间中与第一数值距离最近的虚拟桶分片的编号,将待上传对象的对象信息写入至对应于该虚拟桶分片的桶分片中。应用本申请的方案,有效地提高单桶存放对象的规格,且保障有序列举的耗时较低。并且保证了存储的均衡。

    一种数据处理方法和装置
    19.
    发明公开

    公开(公告)号:CN113625959A

    公开(公告)日:2021-11-09

    申请号:CN202110745186.3

    申请日:2021-06-30

    Abstract: 本申请公开了一种数据处理方法和装置,多个数据大小不超过第一阈值的元对象聚合得到第一条带对象,在存在元对象删除时,可以获取一级位图信息;根据所述一级位图信息确定二级位图信息,所述二级位图信息记录了第一条带对象中每个元对象的状态信息;根据所述二级位图信息中的状态信息,确定所述第一条带对象中每个元对象的有效性;根据每个元对象的有效性对所述第一条带对象进行处理。这样,便可以根据聚合后第一条带对象中每个元对象的有效性,对无效数据进行垃圾回收处理或碎片整理,以提高存储空间有效利用率,大大降低存储空间的浪费。

Patent Agency Ranking