公开(公告)号：CN115203190A

公开(公告)日：2022-10-18

申请号：CN202210911746.2

申请日：2022-07-27

Applicant: 济南浪潮数据技术有限公司

Inventor： 陶桐桐 ,  何文龙

IPC: G06F16/215 ,  G06F16/22

Abstract: 本申请公开了一种垃圾对象删除的方法、装置及介质，涉及数据处理领域，针对大对象的删除效率低的问题，通过删除所述待删除对象的索引信息；将所述对象删除任务中包含的待删除对象的头对象信息和条带对象信息记录进GC流程；启动所述GC流程。先删除待删除对象的索引信息，使得用户不能再通过索引信息检索到待删除对象。之后再删除待删除对象的头对象信息和条带对象信息，由于GC流程中保存的头对象信息和条带对象信息是一个完整的对象数据，较原有流程中的根据一个或多个条带对象的位置信息在GC流程中对条带对象信息进行删除处理，减少了元数据的字节数，提高了数据处理的效率，也提高了用户端感知到的删除对象任务的完成速度。

公开(公告)号：CN114968114A

公开(公告)日：2022-08-30

申请号：CN202210608931.4

申请日：2022-05-31

Applicant: 济南浪潮数据技术有限公司

Inventor： 陶桐桐 ,  程晓煜

IPC: G06F3/06

Abstract: 本申请涉及数据存储技术领域，公开了一种对象存储方法、装置以及介质，存储桶绑定有多个存储策略，客户端发送的对象存放在服务器的存储桶中，服务器判断存储桶中的对象的存储策略是否有多个，如果是，则说明存储桶中的对象跨池存在，在进行读写操作时需要将各对象在各自对应的存储池中进行读写。如果对象的存储策略只有一个，则确定存储桶中的对象存在于同一个存储池中，在存储策略对应的存储池中对对应的对象进行读写操作。相对于当前技术中，原有的存储桶无法访问新建的存储池，采用本技术方案，将新建存储池的存储策略绑定到原有的存储桶中，使一个存储桶有多个存储策略，在进行数据存储时能够跨池读写，无需新建存储桶。

公开(公告)号：CN113836221A

公开(公告)日：2021-12-24

申请号：CN202110964213.6

申请日：2021-08-21

Applicant: 济南浪潮数据技术有限公司

Inventor： 许银龙 ,  陶桐桐 ,  穆向东

IPC: G06F16/27 ,  G06F16/182

Abstract: 本发明公开了一种分布式存储系统的数据同步方法和装置，方法包括：各自生成和保存第一数据中心和第二数据中心的对应桶的业务统计数据；向第二数据中心发送数据同步请求，并向第二数据中心发送第一数据中心的对应桶的业务统计数据；根据接收到的第一数据中心的对应桶的业务统计数据和保存的第二数据中心的对应桶的业务统计数据确定数据同步速率；基于数据同步速率在第一数据中心和第二数据中心之间执行数据同步。本发明能够基于不同数据中心各自的业务情况针对性地确定数据同步的合适速度，以对不同数据中心提供最大化的数据均衡，在提升数据同步速度的同时降低业务数据的潜在损失。

公开(公告)号：CN113703678A

公开(公告)日：2021-11-26

申请号：CN202110962471.0

申请日：2021-08-20

Applicant: 济南浪潮数据技术有限公司

Inventor： 翟亚永 ,  陶桐桐

IPC: G06F3/06

Abstract: 本申请实施例公开了一种存储桶索引重分裂的方法、装置、设备和介质，检测到桶索引分片上的数据量超过预设阈值时，依据桶索引分片上数据的增长量，建立相应个数新的桶索引分片。在接收到数据写入任务时，将数据写入任务对应的对象信息分配至新的桶索引分片中。依据数据的增长量增加相应个数的新的桶索引分片，并且不更改原有的桶索引分片上的对象数据，将新增的对象数据直接写到新增的桶索引分片上。既保证了桶索引分片上的对象数据量不会一直增大，也避免了桶索引分片分裂引发的数据迁移从而阻塞前端业务数据写入。且能够兼顾保证单个桶索引分片上的对象个数，提高了故障恢复的重构速度。随着对象个数的增多，可以对桶索引分片进行无限扩展。

公开(公告)号：CN113553325A

公开(公告)日：2021-10-26

申请号：CN202110676401.9

申请日：2021-06-18

Applicant: 济南浪潮数据技术有限公司

Inventor： 赵煜 ,  陶桐桐 ,  李欢欢

IPC: G06F16/22 ,  G06F16/245 ,  G06F16/2455 ,  G06F16/27

Abstract: 本发明实施例中提供了一种对象存储系统中聚合对象的同步方法和系统，具体包括：从站点发送http请求，获取主站点的data_log中的桶分片信息；从站点通过所述桶分片信息中对象的索引信息，分析所述对象是否需要同步；若需要同步，则从站点发送get请求，获取主站点的所述对象；主站点根据所述对象的聚合特性读取所述对象的数据信息，并将所述对象的数据信息返回从站点；从站点按照预设的存储规则将所述对象的数据信息同步到从站点的存储集群中。本发明实施例提供的聚合对象的同步方法和系统，解决了对象存储系统中，站点间同步时同步特性和聚合特性不兼容的问题，提高了存储产品的适用性，提高了对象存储的竞争力。

公开(公告)号：CN113821164B

公开(公告)日：2024-02-13

申请号：CN202110962042.3

申请日：2021-08-20

Applicant: 济南浪潮数据技术有限公司

Inventor： 许银龙 ,  陶桐桐 ,  穆向东

IPC: G06F3/06

Abstract: 本发明公开了一种分布式存储系统的对象聚合方法和装置，方法包括：在分布式存储系统的业务进程运转的状态下，为分布式存储系统中分配缓存聚合存储池；启动并通过遍历进程来遍历分布式存储系统中的原始数据以确定原始数据是否具有聚合特征，其中遍历进程独立于业务进程并且相对于业务进程具有更低的资源调用优先级；响应于确定遍历进程遍历到的原始数据具有聚合特征而将原始数据写入缓存聚合存储池；启动并通过聚合进程来将缓存聚合存储池中的原始数据聚合为聚合数据并写入分布式存储系统。本发明能够在不影响正常业务的前提下将分布式存储系统的小对象聚合成大对象方式进行存储，在分布式存储系统发生故障时能快速恢复数据，提升稳定性和可靠性。

公开(公告)号：CN113806081B

公开(公告)日：2024-02-13

申请号：CN202111017855.1

申请日：2021-08-31

Applicant: 济南浪潮数据技术有限公司

Inventor： 王铂 ,  陶桐桐

IPC: G06F9/50 ,  G06F12/0877

Abstract: 本发明提供了一种对象存储的配额功能优化方法及系统，所述优化方法包括接收客户端的数据上传请求；获取预设的存储配额信息，根据所述配额信息确定配额缓存参数，并将集群的使用信息读取到缓存中；根据所述配额缓存参数，判断当前上传数据是否超出配额，若能上传，在上传完成后，更新缓存中的集群使用信息。根据使用者设置的配额值来确定存储桶配额阈值和存储桶配额缓存信任时间，使用不同的参数值，在配额大的时候，增大配额阈值，以及信任时间，可以让集群能够更加长的时间使用缓存的数据，以及在即将达到配额的过程中，能够更加精确的限制上传，提高存储性能。

公开(公告)号：CN117527838A

公开(公告)日：2024-02-06

申请号：CN202311543941.5

申请日：2023-11-17

Applicant: 济南浪潮数据技术有限公司

Inventor： 王忠昂 ,  陶桐桐

IPC: H04L67/1097 ,  H04L67/1074 ,  H04L67/104

Abstract: 本发明涉及分布式对象存储集群技术领域，公开了一种分布式对象存储集群中的信息处理方法及设备，可以预先指定特定数量的多个分片对象，并在存储桶和分片对象之间建立对应关系。在目标时段结束时，对本地缓存中包含相同用户名以及相同桶名称的性能合并信息进行合并，生成相应的性能合并信息，之后在多个分片对象中确定与其包含的桶名称相对应的分片对象，将性能合并信息发送至相应的分片对象中存储，避免将相关信息随机发送到分片对象上而导致的存储有相关信息的分片对象数量无限制增多，减少信息管理难度，提升信息管理效率。

公开(公告)号：CN113806249B

公开(公告)日：2023-12-22

申请号：CN202111069552.4

申请日：2021-09-13

Applicant: 济南浪潮数据技术有限公司

Inventor： 程晓煜 ,  陶桐桐

IPC: G06F12/0877 ,  G06F12/0893

Abstract: 本发明公开一种对象存储有序列举方法、装置、终端及存储介质，每次列举N个对象，每个桶有M个桶分片，接收到客户端的列举请求时，检测缓存map中是否包含所需列举对象对应桶的缓存；若不包含，则从底层相应桶的M个桶分片中读取M*N个对象，每个桶分片读取N个对象，从该M*N个对象中有序列举N个对象发送至客户端，并将剩余（M‑1）*N个对象存至缓存map中；该剩余（M‑1）*N个对象为该桶在缓存map中的缓存；若包含，则从对应桶的缓存中有序列举N个对象发送至客户端。本发明一方面可以减少和底层的交互，减少集群压力；另一方面，直接从内存读，相对于之前从底层（硬盘）读的方式，可以显著提高列举的速度。

公开(公告)号：CN116483271A

公开(公告)日：2023-07-25

申请号：CN202310452373.1

申请日：2023-04-21

Applicant: 济南浪潮数据技术有限公司

Inventor： 程晓煜 ,  陶桐桐

IPC: G06F3/06

Abstract: 本发明提供一种对象存储生命周期管理的方法、系统、设备和存储介质，方法包括：响应于开始执行生命周期，检测内存数据库是否为空；响应于所述内存数据库不为空，遍历所述内存数据库中所有的对象，并删除已经到期的对象；响应于所述内存数据库为空，遍历桶索引分片上的桶；以及响应于桶的状态为未执行，遍历所述桶中的对象，删除已经到期的对象，并将预设天数内到期的对象加入到所述内存数据库中。本发明减少了生命周期执行时元数据池的压力，减少了对其它业务的影响，提高了生命周期执行的效率，有效的提高了过期对象的删除速度。