一种多站点数据同步方法、系统、装置及介质

    公开(公告)号:CN116450739A

    公开(公告)日:2023-07-18

    申请号:CN202310416704.6

    申请日:2023-04-13

    Abstract: 本申请公开了一种多站点数据同步方法、系统、装置及介质,应用于数据处理领域。本申请所提供的多站点数据同步方法,通过比较各站点的数据信息判断各站点中是否有站点缺失数据,并在确认有站点缺失数据时,通过在其他站点中获取所缺失的数据写入缺失数据的站点,不仅可以实现多站点数据的冗余达到备份的目的,并且可以在站点数据丢失后通过其他站点恢复数据,保障故障站点与其他站点的数据同步,从而使多站点同步数据功能更加强大,提高分布式对象产品的市场竞争力。本申请所提供的多站点数据同步系统、装置、介质的有益效果同上。

    对象存储多站点同步告警方法、系统、终端及存储介质

    公开(公告)号:CN113836225A

    公开(公告)日:2021-12-24

    申请号:CN202111082389.5

    申请日:2021-09-15

    Inventor: 赵煜 陶桐桐

    Abstract: 本发明提供一种对象存储多站点同步告警方法、系统、终端及存储介质,包括:获取目标站点的用户存储桶信息,并调取用户存储桶对应的源桶信息;分别采集用户存储桶的所有分片标记和对应源桶的所有分片标记,并对两者进行一致性比对;采集数据同步进程的当前状态,在数据同步进程的已完成状态下,如果一致性比对结果为两者不同,生成比对不一致的用户存储桶和对应源桶的告警提示;在数据同步进程的执行中状态下,则多次采集用户存储桶的所有分片标记和对应源桶的所有分片标记,根据两种标记的更新情况生成告警提示。本发明可以监控多站点之间各个桶的同步状态,使多站点功能更加完善商品化,提高了公司分布式对象存储产品的市场竞争力。

    一种聚合多版本小对象的方法、装置及设备

    公开(公告)号:CN113821166A

    公开(公告)日:2021-12-21

    申请号:CN202110962671.6

    申请日:2021-08-20

    Abstract: 本申请公开了一种聚合多版本小对象的方法、装置及设备,该方法包括:首先获取待聚合的至少一个目标多版本小对象,然后,对至少一个目标多版本小对象进行标记,并将标记记录到存储池中,接着,当获取到的目标多版本小对象的数量达到预设数量时,根据标记对目标多版本小对象进行聚合,并将得到的大对象进行存储;或者,当根据标记对目标多版本小对象进行聚合得到的大对象达到预设数值时,停止进行聚合,并将得到的大对象进行存储。从而能够减少分布式对象存储系统中小对象的存储数量,提高重构速度和兼容性,进而提高系统的存储速度。

    对象存储多站点同步告警方法、系统、终端及存储介质

    公开(公告)号:CN113836225B

    公开(公告)日:2025-05-16

    申请号:CN202111082389.5

    申请日:2021-09-15

    Inventor: 赵煜 陶桐桐

    Abstract: 本发明提供一种对象存储多站点同步告警方法、系统、终端及存储介质,包括:获取目标站点的用户存储桶信息,并调取用户存储桶对应的源桶信息;分别采集用户存储桶的所有分片标记和对应源桶的所有分片标记,并对两者进行一致性比对;采集数据同步进程的当前状态,在数据同步进程的已完成状态下,如果一致性比对结果为两者不同,生成比对不一致的用户存储桶和对应源桶的告警提示;在数据同步进程的执行中状态下,则多次采集用户存储桶的所有分片标记和对应源桶的所有分片标记,根据两种标记的更新情况生成告警提示。本发明可以监控多站点之间各个桶的同步状态,使多站点功能更加完善商品化,提高了公司分布式对象存储产品的市场竞争力。

    一种数据处理方法和装置

    公开(公告)号:CN113625959B

    公开(公告)日:2023-12-29

    申请号:CN202110745186.3

    申请日:2021-06-30

    Abstract: 本申请公开了一种数据处理方法和装置,多个数据大小不超过第一阈值的元对象聚合得到第一条带对象,在存在元对象删除时,可以获取一级位图信息;根据所述一级位图信息确定二级位图信息,所述二级位图信息记录了第一条带对象中每个元对象的状态信息;根据所述二级位图信息中的状态信息,确定所述第一条带对象中每个元对象的有效性;根据每个元对象的有效性对所述第一条带对象进行处理。这样,便可以根据聚合后第一条带对象中每个元对象的有效性,对无效数据进行垃圾回收处理或碎片整理,以提高存储空间有效利用率,大大降低存储空间的浪费。

    一种分级缓存数据转移的方法、装置、设备及介质

    公开(公告)号:CN116303139A

    公开(公告)日:2023-06-23

    申请号:CN202310142402.4

    申请日:2023-02-17

    Abstract: 本发明提供了一种分级缓存数据转移的方法、装置、设备及可读介质,方法包括:在桶中开启分级缓存,并统计待往桶中上传对象的访问频率,并将访问频率高于频率阈值的上传对象的上传请求进行标记;响应于接收到客户端上传对象的请求,判断请求中的上传对象是否满足要求;响应于请求中的上传对象的大小小于尺寸阈值且请求中有标记,将上传对象写入缓存池中;创建转移线程并设定转移时间,并在到达转移时间时将缓存池中的数据转移到普通数据池中。通过使用本发明的方案,能够提高高访问频率对象的访问效率,能够及时清理缓存池中低访问频率对象占用的空间,降低大量缓存数据转移带给前端业务的影响,极大地提高了存储系统的市场竞争力。

    一种分布式对象存储系统的桶索引存储方法、装置及介质

    公开(公告)号:CN115129789A

    公开(公告)日:2022-09-30

    申请号:CN202210890257.3

    申请日:2022-07-27

    Inventor: 何文龙 赵煜

    Abstract: 本申请公开了一种分布式对象存储系统的桶索引存储方法、装置及介质,涉及存储技术领域,使得单桶可以保存更多的对象数,不受原始分片数限制,接收客户端发送的上传对象,将上传对象的数据部分存储至数据池,确定上传对象的索引元数据保存至桶索引的目标分片,判断目标分片的已存储数据是否达到目标阈值,若是,控制目标分片分裂成预设分片数的子分片,确定上传对象的索引元数据保存至桶索引的目标子分片,将索引元数据记录至目标子分片。当目标分片的已存储数据达到目标阈值时,控制其进行分裂,以将索引元数据存储至分裂出的新分片上,使得单桶可以保存更多的对象数,不受原始分片数限制。

    一种历史版本对象列举方法、装置及其介质

    公开(公告)号:CN115114232A

    公开(公告)日:2022-09-27

    申请号:CN202210832787.2

    申请日:2022-07-15

    Inventor: 袁圣骐 赵煜

    Abstract: 本申请公开了一种历史版本对象列举方法、装置及其介质,涉及对象存储技术领域,用于对历史版本对象进行列举,针对目前的列举历史版本对象的方法效率低下且对存储系统性能影响大的问题,提供了一种历史版本对象列举方法,利用对象存储底层机制中支持根据指定的前缀名来获取索引分片上特定记录的机制,使得在进行历史版本对象的列举时,可以获取包括历史版本前缀名的所有键值对记录,进而遍历获取对象的基本信息,将其作为列举结果返回,完成历史版本对象列举过程。无需遍历每一索引分片中的所有键值对,避免了无效遍历的时间消耗,同时也减轻了存储系统进行历史版本对象列举时的工作量,降低对其性能的影响。

    一种指定目录下的对象列举方法、装置及其介质

    公开(公告)号:CN114861003A

    公开(公告)日:2022-08-05

    申请号:CN202210446439.1

    申请日:2022-04-26

    Inventor: 袁圣骐 赵煜

    Abstract: 本申请公开了一种指定目录下的对象列举方法、装置及其介质,涉及对象存储技术领域,用于进行指定目录下的对象列举。针对目前的对象列举方法效率低的问题,提供了一种指定目录下的对象列举方法,通过使用hash_map存储目录名与该目录下存储对象的存储位置之间的映射关系,使得在进行对象列举时,能根据指定目录名的哈希值确定对应的key,遍历所有与key对应的value,获取对象于索引对象的位置,访问该位置上的对象名称,并作为列举结果返回。这种方式只需进行一次遍历即可获得列举结果,相对于目前所使用的双层遍历的方式,时间复杂度更低,从而提高对象列举的效率,并且在数据量越大时,效率提升的越明显。

    一种对象存储系统中聚合对象的同步方法和系统

    公开(公告)号:CN113553325A

    公开(公告)日:2021-10-26

    申请号:CN202110676401.9

    申请日:2021-06-18

    Abstract: 本发明实施例中提供了一种对象存储系统中聚合对象的同步方法和系统,具体包括:从站点发送http请求,获取主站点的data_log中的桶分片信息;从站点通过所述桶分片信息中对象的索引信息,分析所述对象是否需要同步;若需要同步,则从站点发送get请求,获取主站点的所述对象;主站点根据所述对象的聚合特性读取所述对象的数据信息,并将所述对象的数据信息返回从站点;从站点按照预设的存储规则将所述对象的数据信息同步到从站点的存储集群中。本发明实施例提供的聚合对象的同步方法和系统,解决了对象存储系统中,站点间同步时同步特性和聚合特性不兼容的问题,提高了存储产品的适用性,提高了对象存储的竞争力。

Patent Agency Ranking