分布式存储系统桶回收站优化的方法、装置、设备及介质

    公开(公告)号:CN116225336A

    公开(公告)日:2023-06-06

    申请号:CN202310234599.4

    申请日:2023-03-08

    Abstract: 本发明提供了一种分布式存储系统中桶回收站优化的方法、装置、设备及可读介质,方法包括:在分布式存储系统中同时设置桶回收站和桶多版本功能;为桶回收站设置第一开关,并为桶多版本设置第二开关;基于用户的指令选择开启或关闭第一开关或第二开关。通过使用本发明的方案,能够解决当前桶回收站与桶多版本开关一致的问题,增加了桶回收站的实用性,适配用户使用习惯,给客户带来良好的用户体验,优化了桶回收站的功能,提高了市场竞争力。

    一种用于对象存储的多集群访问系统及方法

    公开(公告)号:CN115426333A

    公开(公告)日:2022-12-02

    申请号:CN202211034301.7

    申请日:2022-08-26

    Inventor: 陶桐桐 程晓煜

    Abstract: 本申请公开了一种用于对象存储的多集群访问系统及方法,该系统包括:客户端、域名解析服务器以及多个存储集群三部分。域名解析服务器用于设置一级域名,即客户端访问用的统一域名,任一存储集群中设置有多个存储节点,且任一存储集群匹配一个二级域名。该方法包括:在域名解析服务器中设置一级域名;客户端根据一级域名发送访问请求至域名解析服务器;根据访问请求解析出相应的二级域名,并根据解析出的二级域名将访问请求转发至对应的存储集群中;对访问请求进行处理,并将处理结果经由域名解析服务器返回至客户端。通过本申请能够有效减少客户端的业务切换频率,以及客户端查找集群的操作,有利于大大提高对象存储的管理效率,提高用户体验。

    一种访问权限校验方法、装置及其介质

    公开(公告)号:CN115310134A

    公开(公告)日:2022-11-08

    申请号:CN202211049461.9

    申请日:2022-08-30

    Inventor: 刘超 陶桐桐

    Abstract: 本申请公开了一种访问权限校验方法、装置及其介质,涉及分布式存储技术领域,用于进行数据访问时的校验,针对目前在多协议互通场景下权限校验复杂且容易出错的问题,提供了一种访问权限校验方法,通过预先建立的第一用户信息和第二用户信息的映射关系,实现对象、文件两种用户信息之间的相互转化,从而当访问请求中包含任一种用户信息时,都可以通过映射关系确定另一种用户信息,进而可针对请求校验数据进行单一种类的校验,简化了权限管理流程的同时也提高了效率,也有助于减少校验过程出现错误的可能性。另外,上述方法最大程度的保留了原有的对象校验方法和文件校验方法,大大降低了开发和部署难度,更有利于实际实施。

    一种存储系统的对象上传方法、系统、设备及存储介质

    公开(公告)号:CN115185951A

    公开(公告)日:2022-10-14

    申请号:CN202210905689.7

    申请日:2022-07-29

    Abstract: 本申请公开了一种存储系统的对象上传方法、系统、设备及存储介质,应用于存储技术领域。包括:为存储系统中的桶设置桶的多级索引目录,并为各级目录结构下的各个桶分片设置对应于桶分片的虚拟桶分片;确定出目标桶,基于待上传对象的对象名确定出待上传对象在目标桶下的目录结构;将待上传对象的目录结构转换为校验值并映射至预设的数值空间中,得到对应于校验值的第一数值;确定出在待上传对象的目录结构下,数值空间中与第一数值距离最近的虚拟桶分片的编号,将待上传对象的对象信息写入至对应于该虚拟桶分片的桶分片中。应用本申请的方案,有效地提高单桶存放对象的规格,且保障有序列举的耗时较低。并且保证了存储的均衡。

    一种分布式存储系统的对象聚合方法和装置

    公开(公告)号:CN113821164A

    公开(公告)日:2021-12-21

    申请号:CN202110962042.3

    申请日:2021-08-20

    Abstract: 本发明公开了一种分布式存储系统的对象聚合方法和装置,方法包括:在分布式存储系统的业务进程运转的状态下,为分布式存储系统中分配缓存聚合存储池;启动并通过遍历进程来遍历分布式存储系统中的原始数据以确定原始数据是否具有聚合特征,其中遍历进程独立于业务进程并且相对于业务进程具有更低的资源调用优先级;响应于确定遍历进程遍历到的原始数据具有聚合特征而将原始数据写入缓存聚合存储池;启动并通过聚合进程来将缓存聚合存储池中的原始数据聚合为聚合数据并写入分布式存储系统。本发明能够在不影响正常业务的前提下将分布式存储系统的小对象聚合成大对象方式进行存储,在分布式存储系统发生故障时能快速恢复数据,提升稳定性和可靠性。

    一种数据处理方法和装置
    36.
    发明公开

    公开(公告)号:CN113625959A

    公开(公告)日:2021-11-09

    申请号:CN202110745186.3

    申请日:2021-06-30

    Abstract: 本申请公开了一种数据处理方法和装置,多个数据大小不超过第一阈值的元对象聚合得到第一条带对象,在存在元对象删除时,可以获取一级位图信息;根据所述一级位图信息确定二级位图信息,所述二级位图信息记录了第一条带对象中每个元对象的状态信息;根据所述二级位图信息中的状态信息,确定所述第一条带对象中每个元对象的有效性;根据每个元对象的有效性对所述第一条带对象进行处理。这样,便可以根据聚合后第一条带对象中每个元对象的有效性,对无效数据进行垃圾回收处理或碎片整理,以提高存储空间有效利用率,大大降低存储空间的浪费。

    一种桶生命周期配置方法、装置、设备及介质

    公开(公告)号:CN113625951A

    公开(公告)日:2021-11-09

    申请号:CN202110741509.1

    申请日:2021-06-30

    Abstract: 本申请公开了一种桶生命周期配置方法、装置、设备及介质,包括:确定桶生命周期的配置参数的可行域;基于所述可行域,利用预设多目标优化算法以第一优化目标和第二优化目标确定最优配置参数集;其中,所述第一优化目标为基于配置参数处理过期数据之后剩余过期数据相对于总过期数据的空间占比;所述第二优化目标为基于配置参数处理过期数据对应的集群性能占用率;从所述最优配置参数集中确定出目标配置参数,利用所述目标配置参数配置桶生命周期。这样,能够兼顾桶生命周期效果以及其他业务处理,从而提升系统性能。

    一种分布式存储的增量备份方法、装置以及介质

    公开(公告)号:CN117873785A

    公开(公告)日:2024-04-12

    申请号:CN202410046263.X

    申请日:2024-01-11

    Inventor: 陶桐桐

    Abstract: 本发明公开了一种分布式存储的增量备份方法、装置以及介质,应用于存储技术领域。该方法通过备份软件监控待备份的存储系统中的数据变化,当待备份的存储系统中的数据发生变化时,确定出发生变化的数据对应的存储目录信息,存储目录信息可分为两层。然后将这些确定出的存储目录信息按预设格式进行保存,最后根据保存的存储目录信息从待备份的存储系统中获取对应的数据以对进行备份的存储系统的数据进行增量备份。本方案不仅能够避免繁琐的比较过程,还能够通过两层的存储目录信息能够更快速的查找到对应的存储目录信息,快速地知道是哪些数据发生了变化,进而提高了增量备份的效率。

    一种数据存储方法、系统、设备及计算机可读存储介质

    公开(公告)号:CN117724663A

    公开(公告)日:2024-03-19

    申请号:CN202410171889.3

    申请日:2024-02-07

    Inventor: 程晓煜 陶桐桐

    Abstract: 本发明公开了一种数据存储方法、系统、设备及计算机可读存储介质,涉及存储技术领域,应用于对象存储,获取待存储的目标数据;对目标数据进行哈希运算,确定目标数据对应的目标哈希槽;根据哈希槽和索引分片间的映射关系,确定目标哈希槽对应的目标索引分片;将目标数据的元数据存入目标索引分片。本发明的有益效果是:通过哈希运算确定目标数据对应的目标哈希槽,之后根据哈希槽与索引分片间的映射关系来确定目标哈希槽对应的目标索引分片,如此一来,目标数据通过目标哈希槽映射到目标索引分片,这样,改变索引分片后只需更新哈希槽与索引分片间的映射关系即可,无需更改哈希运算,可以灵活在对象存储中进行数据存储。

    数据同步方法、装置、系统、电子设备及可读存储介质

    公开(公告)号:CN117596256A

    公开(公告)日:2024-02-23

    申请号:CN202410078564.0

    申请日:2024-01-19

    Abstract: 本发明公开了一种数据同步方法、装置、系统、电子设备及可读存储介质,应用于分布式存储技术领域。其中,方法包括开启千亿桶功能的源站点主动向目标站点发送桶分片分裂完成通知请求,以将新分裂桶分片数据存储为同步进度对象数据。当检测到桶分片处于全量同步状态,向源站点发送源桶分片的分裂状态查询请求,并从存储池中获取源桶分片的同步进度对象数据;根据源桶分片的分裂状态和同步进度对象数据确定满足新桶分片全量同步触发条件,对源桶分片的新桶分片进行全量同步。本发明可以解决相关技术千亿桶的全量同步出现少对象的问题,能够实现目标站点在对分布式对象存储系统的千亿桶全量同步时与源站点的数据完全一致。

Patent Agency Ranking