一种对象拷贝方法、装置、设备及存储介质

    公开(公告)号:CN113806107B

    公开(公告)日:2024-02-13

    申请号:CN202110981471.5

    申请日:2021-08-25

    Abstract: 本发明公开了一种对象拷贝方法、装置、设备及存储介质;在本方案中,查找待拷贝的目标对象后,先将目标对象的目标元数据拷贝至内存,将内存中的目标元数据写入拷贝的目的位置,并利用目标元数据在目的位置下创建软连接,以便在目的位置下通过软连接访问目标对象的真正数据;在满足真正数据拷贝条件后,根据目标元数据将目标对象的真正数据拷贝至内存,并将内存中的真正数据写入目的位置。可见,本方案进行对象拷贝时,可暂时不将目标对象的真正数据进行拷贝,从而避免出现内存暴涨、IO过大的问题,并且通过创建软连接,还可以保证目标对象的正常访问,提高了对象的拷贝效率,为用户带来了良好的使用体验。

    一种对象存储方法、系统、设备以及存储介质

    公开(公告)号:CN116483275A

    公开(公告)日:2023-07-25

    申请号:CN202310456895.9

    申请日:2023-04-21

    Inventor: 马骁 李欢欢

    Abstract: 本发明公开了一种对象存储方法,包括以下步骤:响应于接收到对象上传的请求,判断所述请求中是否携带存储类别,其中待上传的对象包括记录版本信息的头数据和记录真实数据的尾数据;响应于存在所述存储类别,将所述尾数据写入到与所述存储类别对应的存储池中;将所述存储类别写入到所述头数据并将所述头数据写入到与所述存储类别对应的存储池;将所述存储类别写入到索引中。本发明还公开了一种系统、计算机设备以及可读存储介质。本发明提出的方案针对多版本对象上传,通过存储类别进行分层存储,将不同版本的对象根据存储类别分别存储到不同的存储池,同时在索引中记录存储类别以映射每一个对象的头数据的存储位置。

    一种存储系统的对象上传方法、系统、设备及存储介质

    公开(公告)号:CN115185951A

    公开(公告)日:2022-10-14

    申请号:CN202210905689.7

    申请日:2022-07-29

    Abstract: 本申请公开了一种存储系统的对象上传方法、系统、设备及存储介质,应用于存储技术领域。包括:为存储系统中的桶设置桶的多级索引目录,并为各级目录结构下的各个桶分片设置对应于桶分片的虚拟桶分片;确定出目标桶,基于待上传对象的对象名确定出待上传对象在目标桶下的目录结构;将待上传对象的目录结构转换为校验值并映射至预设的数值空间中,得到对应于校验值的第一数值;确定出在待上传对象的目录结构下,数值空间中与第一数值距离最近的虚拟桶分片的编号,将待上传对象的对象信息写入至对应于该虚拟桶分片的桶分片中。应用本申请的方案,有效地提高单桶存放对象的规格,且保障有序列举的耗时较低。并且保证了存储的均衡。

    一种数据处理方法和装置

    公开(公告)号:CN113625959A

    公开(公告)日:2021-11-09

    申请号:CN202110745186.3

    申请日:2021-06-30

    Abstract: 本申请公开了一种数据处理方法和装置,多个数据大小不超过第一阈值的元对象聚合得到第一条带对象,在存在元对象删除时,可以获取一级位图信息;根据所述一级位图信息确定二级位图信息,所述二级位图信息记录了第一条带对象中每个元对象的状态信息;根据所述二级位图信息中的状态信息,确定所述第一条带对象中每个元对象的有效性;根据每个元对象的有效性对所述第一条带对象进行处理。这样,便可以根据聚合后第一条带对象中每个元对象的有效性,对无效数据进行垃圾回收处理或碎片整理,以提高存储空间有效利用率,大大降低存储空间的浪费。

    数据存储方法及装置
    5.
    发明公开

    公开(公告)号:CN119248196A

    公开(公告)日:2025-01-03

    申请号:CN202411375140.7

    申请日:2024-09-29

    Inventor: 何文龙 李欢欢

    Abstract: 本申请实施例提供了一种数据存储方法及装置,其中,该方法包括:获取存储桶中存放的对象数据集合;在对象数据集合中的至少一个第一对象数据满足第一数据处理条件的情况下,将至少一个第一对象数据聚合为第一聚合数据,并将第一聚合数据下刷至第一存储池中,其中,存储桶关联的分级下刷池包括第一存储池;在对象数据集合中的至少一个第二对象数据满足第二数据处理条件的情况下,将至少一个第二对象数据聚合为第二聚合数据,并将第二聚合数据下刷至第二存储池中,其中,存储桶关联的分级下刷池包括第二存储池。通过本申请,解决了数据存储效率较低的问题,进而达到了提高数据存储效率的效果。

    数据同步方法、装置、系统、电子设备及可读存储介质

    公开(公告)号:CN117596256A

    公开(公告)日:2024-02-23

    申请号:CN202410078564.0

    申请日:2024-01-19

    Abstract: 本发明公开了一种数据同步方法、装置、系统、电子设备及可读存储介质,应用于分布式存储技术领域。其中,方法包括开启千亿桶功能的源站点主动向目标站点发送桶分片分裂完成通知请求,以将新分裂桶分片数据存储为同步进度对象数据。当检测到桶分片处于全量同步状态,向源站点发送源桶分片的分裂状态查询请求,并从存储池中获取源桶分片的同步进度对象数据;根据源桶分片的分裂状态和同步进度对象数据确定满足新桶分片全量同步触发条件,对源桶分片的新桶分片进行全量同步。本发明可以解决相关技术千亿桶的全量同步出现少对象的问题,能够实现目标站点在对分布式对象存储系统的千亿桶全量同步时与源站点的数据完全一致。

    一种数据同步方法、装置、设备及介质

    公开(公告)号:CN116701540A

    公开(公告)日:2023-09-05

    申请号:CN202310780065.1

    申请日:2023-06-29

    Abstract: 本申请公开了一种数据同步方法、装置、设备及介质,涉及数据存储领域,该方法应用于第一数据中心,包括:确定目标对象的断点位置信息;所述断点位置信息用于表征上次数据同步过程中所述目标对象对应的已同步数据的位置信息;基于所述断点位置信息对应的断点位置,从第二数据中心读取预设目标容量的未同步数据,并将已读取数据保存至当前集群存储池中;基于已读取数据的位置信息更新所述断点位置信息。本发明能够降低超大对象长时间数据同步对系统资源的长期占用从而导致的一系列问题,还能减少集群异常导致数据同步失败而产生的垃圾数据对存储池空间的无效占用。

    一种多站点数据同步方法、系统、装置及介质

    公开(公告)号:CN116450739A

    公开(公告)日:2023-07-18

    申请号:CN202310416704.6

    申请日:2023-04-13

    Abstract: 本申请公开了一种多站点数据同步方法、系统、装置及介质,应用于数据处理领域。本申请所提供的多站点数据同步方法,通过比较各站点的数据信息判断各站点中是否有站点缺失数据,并在确认有站点缺失数据时,通过在其他站点中获取所缺失的数据写入缺失数据的站点,不仅可以实现多站点数据的冗余达到备份的目的,并且可以在站点数据丢失后通过其他站点恢复数据,保障故障站点与其他站点的数据同步,从而使多站点同步数据功能更加强大,提高分布式对象产品的市场竞争力。本申请所提供的多站点数据同步系统、装置、介质的有益效果同上。

    一种聚合多版本小对象的方法、装置及设备

    公开(公告)号:CN113821166A

    公开(公告)日:2021-12-21

    申请号:CN202110962671.6

    申请日:2021-08-20

    Abstract: 本申请公开了一种聚合多版本小对象的方法、装置及设备,该方法包括:首先获取待聚合的至少一个目标多版本小对象,然后,对至少一个目标多版本小对象进行标记,并将标记记录到存储池中,接着,当获取到的目标多版本小对象的数量达到预设数量时,根据标记对目标多版本小对象进行聚合,并将得到的大对象进行存储;或者,当根据标记对目标多版本小对象进行聚合得到的大对象达到预设数值时,停止进行聚合,并将得到的大对象进行存储。从而能够减少分布式对象存储系统中小对象的存储数量,提高重构速度和兼容性,进而提高系统的存储速度。

    一种对象拷贝方法、装置、设备及存储介质

    公开(公告)号:CN113806107A

    公开(公告)日:2021-12-17

    申请号:CN202110981471.5

    申请日:2021-08-25

    Abstract: 本发明公开了一种对象拷贝方法、装置、设备及存储介质;在本方案中,查找待拷贝的目标对象后,先将目标对象的目标元数据拷贝至内存,将内存中的目标元数据写入拷贝的目的位置,并利用目标元数据在目的位置下创建软连接,以便在目的位置下通过软连接访问目标对象的真正数据;在满足真正数据拷贝条件后,根据目标元数据将目标对象的真正数据拷贝至内存,并将内存中的真正数据写入目的位置。可见,本方案进行对象拷贝时,可暂时不将目标对象的真正数据进行拷贝,从而避免出现内存暴涨、IO过大的问题,并且通过创建软连接,还可以保证目标对象的正常访问,提高了对象的拷贝效率,为用户带来了良好的使用体验。

Patent Agency Ranking