一种对象存储数据迁移的方法、系统、设备和存储介质

    公开(公告)号:CN116909990A

    公开(公告)日:2023-10-20

    申请号:CN202310898845.6

    申请日:2023-07-21

    Inventor: 程晓煜 陶桐桐

    Abstract: 本发明提供一种对象存储数据迁移的方法、系统、设备和存储介质,方法包括:记录迁移开始时间,并记录源桶和目标桶所有对象和元数据的修改操作;获取待迁移对象的最后修改时间,并将所述最后修改时间与所述迁移开始时间进行比较;响应于所述最后修改时间早于所述迁移开始时间,获取所述待迁移对象的数据和元数据,并通过目标集群的对象网关写入到目标集群的目标桶内;以及响应于所述最后修改时间等于或晚于所述迁移开始时间,将待迁移对象在源桶和目标桶的数据和元数据的修改操作进行合并,并根据合并结果进行数据迁移。本发明通过在迁移过程中对源桶和目标桶的新业务进行转发和记录,达到在不影响前端业务的前提下高效且准确的对象迁移。

    一种数据同步方法、装置、设备及介质

    公开(公告)号:CN116701540A

    公开(公告)日:2023-09-05

    申请号:CN202310780065.1

    申请日:2023-06-29

    Abstract: 本申请公开了一种数据同步方法、装置、设备及介质,涉及数据存储领域,该方法应用于第一数据中心,包括:确定目标对象的断点位置信息;所述断点位置信息用于表征上次数据同步过程中所述目标对象对应的已同步数据的位置信息;基于所述断点位置信息对应的断点位置,从第二数据中心读取预设目标容量的未同步数据,并将已读取数据保存至当前集群存储池中;基于已读取数据的位置信息更新所述断点位置信息。本发明能够降低超大对象长时间数据同步对系统资源的长期占用从而导致的一系列问题,还能减少集群异常导致数据同步失败而产生的垃圾数据对存储池空间的无效占用。

    一种多站点数据同步方法、系统、装置及介质

    公开(公告)号:CN116450739A

    公开(公告)日:2023-07-18

    申请号:CN202310416704.6

    申请日:2023-04-13

    Abstract: 本申请公开了一种多站点数据同步方法、系统、装置及介质,应用于数据处理领域。本申请所提供的多站点数据同步方法,通过比较各站点的数据信息判断各站点中是否有站点缺失数据,并在确认有站点缺失数据时,通过在其他站点中获取所缺失的数据写入缺失数据的站点,不仅可以实现多站点数据的冗余达到备份的目的,并且可以在站点数据丢失后通过其他站点恢复数据,保障故障站点与其他站点的数据同步,从而使多站点同步数据功能更加强大,提高分布式对象产品的市场竞争力。本申请所提供的多站点数据同步系统、装置、介质的有益效果同上。

    数据迁移方法、数据迁移装置、数据迁移设备及存储介质

    公开(公告)号:CN115729473A

    公开(公告)日:2023-03-03

    申请号:CN202211509086.1

    申请日:2022-11-29

    Abstract: 本申请涉及存储技术领域,具体公开了一种数据迁移方法、数据迁移装置、数据迁移设备及存储介质,通过在执行将源存储集群至目标存储集群的全量数据迁移任务时,记录源存储集群相较于目标存储集群的数据变更日志,在执行完全量数据迁移任务之后,能够根据数据变更日志确定源存储集群相较于目标存储集群的增量数据,继而执行将增量数据自源存储集群至目标存储集群迁移的增量数据迁移任务,通过基于数据变更日志确定增量数据,相较于迁移工具将源存储集群中的所有数据以及目标存储集群中的所有数据读取到内存中比较得到增量数据的现有增量迁移方案,能够更快地确定增量数据,显著提升增量数据迁移任务的效率,继而提升存储集群间数据迁移的整体效率。

    一种删除对象的方法、装置、设备及可读介质

    公开(公告)号:CN114138180A

    公开(公告)日:2022-03-04

    申请号:CN202111237009.0

    申请日:2021-10-24

    Abstract: 本发明提供了一种分布式对象存储系统中删除对象的方法、装置、设备及可读介质,该方法包括:响应于接收到删除对象的指令,获取待删除对象的数量并将数量与阈值数量进行比较;响应于数量超过阈值数量,建立数据结构并将待删除对象的元数据存储到数据结构中;将待删除对象的元数据进行删除,并判断分布式对象存储系统是否处于预设条件;响应于分布式对象存储系统处于预设条件,遍历数据结构中存储的元数据,并在将全部元数据对应的数据删除后将数据结构删除。通过使用本发明的方案,能够解决当前对象删除速度过慢的问题,增加了对象存储删除的实用性,提高了对象存储中删除大量数据的效率,提高了分布式对象产品的市场竞争力。

    对象存储多站点同步告警方法、系统、终端及存储介质

    公开(公告)号:CN113836225A

    公开(公告)日:2021-12-24

    申请号:CN202111082389.5

    申请日:2021-09-15

    Inventor: 赵煜 陶桐桐

    Abstract: 本发明提供一种对象存储多站点同步告警方法、系统、终端及存储介质,包括:获取目标站点的用户存储桶信息,并调取用户存储桶对应的源桶信息;分别采集用户存储桶的所有分片标记和对应源桶的所有分片标记,并对两者进行一致性比对;采集数据同步进程的当前状态,在数据同步进程的已完成状态下,如果一致性比对结果为两者不同,生成比对不一致的用户存储桶和对应源桶的告警提示;在数据同步进程的执行中状态下,则多次采集用户存储桶的所有分片标记和对应源桶的所有分片标记,根据两种标记的更新情况生成告警提示。本发明可以监控多站点之间各个桶的同步状态,使多站点功能更加完善商品化,提高了公司分布式对象存储产品的市场竞争力。

    一种聚合多版本小对象的方法、装置及设备

    公开(公告)号:CN113821166A

    公开(公告)日:2021-12-21

    申请号:CN202110962671.6

    申请日:2021-08-20

    Abstract: 本申请公开了一种聚合多版本小对象的方法、装置及设备,该方法包括:首先获取待聚合的至少一个目标多版本小对象,然后,对至少一个目标多版本小对象进行标记,并将标记记录到存储池中,接着,当获取到的目标多版本小对象的数量达到预设数量时,根据标记对目标多版本小对象进行聚合,并将得到的大对象进行存储;或者,当根据标记对目标多版本小对象进行聚合得到的大对象达到预设数值时,停止进行聚合,并将得到的大对象进行存储。从而能够减少分布式对象存储系统中小对象的存储数量,提高重构速度和兼容性,进而提高系统的存储速度。

    一种对象存储的配额功能优化方法及系统

    公开(公告)号:CN113806081A

    公开(公告)日:2021-12-17

    申请号:CN202111017855.1

    申请日:2021-08-31

    Inventor: 王铂 陶桐桐

    Abstract: 本发明提供了一种对象存储的配额功能优化方法及系统,所述优化方法包括接收客户端的数据上传请求;获取预设的存储配额信息,根据所述配额信息确定配额缓存参数,并将集群的使用信息读取到缓存中;根据所述配额缓存参数,判断当前上传数据是否超出配额,若能上传,在上传完成后,更新缓存中的集群使用信息。根据使用者设置的配额值来确定存储桶配额阈值和存储桶配额缓存信任时间,使用不同的参数值,在配额大的时候,增大配额阈值,以及信任时间,可以让集群能够更加长的时间使用缓存的数据,以及在即将达到配额的过程中,能够更加精确的限制上传,提高存储性能。

    一种对象存储系统中聚合对象的同步方法和系统

    公开(公告)号:CN113553325B

    公开(公告)日:2025-02-21

    申请号:CN202110676401.9

    申请日:2021-06-18

    Abstract: 本发明实施例中提供了一种对象存储系统中聚合对象的同步方法和系统,具体包括:从站点发送http请求,获取主站点的data_log中的桶分片信息;从站点通过所述桶分片信息中对象的索引信息,分析所述对象是否需要同步;若需要同步,则从站点发送get请求,获取主站点的所述对象;主站点根据所述对象的聚合特性读取所述对象的数据信息,并将所述对象的数据信息返回从站点;从站点按照预设的存储规则将所述对象的数据信息同步到从站点的存储集群中。本发明实施例提供的聚合对象的同步方法和系统,解决了对象存储系统中,站点间同步时同步特性和聚合特性不兼容的问题,提高了存储产品的适用性,提高了对象存储的竞争力。

    一种聚合多版本小对象的方法、装置及设备

    公开(公告)号:CN113821166B

    公开(公告)日:2024-09-20

    申请号:CN202110962671.6

    申请日:2021-08-20

    Abstract: 本申请公开了一种聚合多版本小对象的方法、装置及设备,该方法包括:首先获取待聚合的至少一个目标多版本小对象,然后,对至少一个目标多版本小对象进行标记,并将标记记录到存储池中,接着,当获取到的目标多版本小对象的数量达到预设数量时,根据标记对目标多版本小对象进行聚合,并将得到的大对象进行存储;或者,当根据标记对目标多版本小对象进行聚合得到的大对象达到预设数值时,停止进行聚合,并将得到的大对象进行存储。从而能够减少分布式对象存储系统中小对象的存储数量,提高重构速度和兼容性,进而提高系统的存储速度。

Patent Agency Ranking