-
公开(公告)号:CN119226396A
公开(公告)日:2024-12-31
申请号:CN202411170806.5
申请日:2024-08-23
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/27 , H04L67/1097
Abstract: 本发明实施例提供了一种基于多数据中心的数据同步方法,所述方法包括:将任一数据中心作为数据同步的源数据中心,并确定源数据中心进行数据同步对应的目标数据中心;在源数据中心设置配置信息;根据配置信息建立源数据中心的源桶与目标数据中心的目标桶之间的数据同步连接;根据数据同步连接为源数据中心的任一源桶设置同步策略;根据同步策略将源桶中的数据同步到目标桶中。通过本发明实施例,放宽了多站点环境部署的条件,提高了易用性和实用性;通过数据同步连接的创建,将数据同步的源和目的关联起来,增加了数据同步的灵活性;通过给桶设置数据同步策略,增加了多站点之间数据同步的多样性,给客户带来更多的选择。
-
公开(公告)号:CN117591018A
公开(公告)日:2024-02-23
申请号:CN202311549171.5
申请日:2023-11-17
Applicant: 济南浪潮数据技术有限公司
IPC: G06F3/06
Abstract: 本发明涉及分布式对象存储系统技术领域,公开了一种分布式对象存储系统中的请求处理方法及设备。本发明可以接收来自客户端的写请求,写请求中包括第一对象元数据、第一对象数据以及第一存储池标识。解析写请求,得到第一对象元数据、第一对象数据以及第一存储池标识。根据第二存储池标识在多个存储池中确定第二存储池。将第一对象数据写入至第二存储池中,以及根据第一存储池标识将第一对象元数据写入至第一存储池中。本发明可以根据客户端在写请求中携带的第一存储池标识以及第二存储池标识,将第一对象元数据和第一对象数据分别存储至第一存储池和第二存储池中,避免将数据存储至同一存储池中,减少存储池的存储压力和避免其运行性能的下降。
-
公开(公告)号:CN113625959B
公开(公告)日:2023-12-29
申请号:CN202110745186.3
申请日:2021-06-30
Applicant: 济南浪潮数据技术有限公司
IPC: G06F3/06
Abstract: 本申请公开了一种数据处理方法和装置,多个数据大小不超过第一阈值的元对象聚合得到第一条带对象,在存在元对象删除时,可以获取一级位图信息;根据所述一级位图信息确定二级位图信息,所述二级位图信息记录了第一条带对象中每个元对象的状态信息;根据所述二级位图信息中的状态信息,确定所述第一条带对象中每个元对象的有效性;根据每个元对象的有效性对所述第一条带对象进行处理。这样,便可以根据聚合后第一条带对象中每个元对象的有效性,对无效数据进行垃圾回收处理或碎片整理,以提高存储空间有效利用率,大大降低存储空间的浪费。
-
公开(公告)号:CN117170579A
公开(公告)日:2023-12-05
申请号:CN202310898849.4
申请日:2023-07-21
Applicant: 济南浪潮数据技术有限公司
IPC: G06F3/06
Abstract: 本发明提供一种追加写对象上传的方法、系统、设备和存储介质,方法包括:响应于写数据业务开始,判断上传对象是否为追加写类型且所述上传对象是否已存在;响应于所述上传对象为追加写类型且所述上传对象已存在,判断上传信息中携带的存储类别与已存在对象的存储类别是否相同;响应于所述上传信息中携带的存储类别与已存在对象的存储类别相同,读取并使用已存在对象的标签号以对对象的元数据信息进行处理;以及根据所述上传对象是否为原始对象确定是否对存储类别进行记录。本发明能有效支持对象存储追加写功能在多种写入场景中正确使用,且兼容了未在分层场景下上传的多版本对象的场景,保证了系统的稳定性与兼容性。
-
公开(公告)号:CN116303139A
公开(公告)日:2023-06-23
申请号:CN202310142402.4
申请日:2023-02-17
Applicant: 济南浪潮数据技术有限公司
IPC: G06F12/0893 , G06F12/0868
Abstract: 本发明提供了一种分级缓存数据转移的方法、装置、设备及可读介质,方法包括:在桶中开启分级缓存,并统计待往桶中上传对象的访问频率,并将访问频率高于频率阈值的上传对象的上传请求进行标记;响应于接收到客户端上传对象的请求,判断请求中的上传对象是否满足要求;响应于请求中的上传对象的大小小于尺寸阈值且请求中有标记,将上传对象写入缓存池中;创建转移线程并设定转移时间,并在到达转移时间时将缓存池中的数据转移到普通数据池中。通过使用本发明的方案,能够提高高访问频率对象的访问效率,能够及时清理缓存池中低访问频率对象占用的空间,降低大量缓存数据转移带给前端业务的影响,极大地提高了存储系统的市场竞争力。
-
公开(公告)号:CN113553325A
公开(公告)日:2021-10-26
申请号:CN202110676401.9
申请日:2021-06-18
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/22 , G06F16/245 , G06F16/2455 , G06F16/27
Abstract: 本发明实施例中提供了一种对象存储系统中聚合对象的同步方法和系统,具体包括:从站点发送http请求,获取主站点的data_log中的桶分片信息;从站点通过所述桶分片信息中对象的索引信息,分析所述对象是否需要同步;若需要同步,则从站点发送get请求,获取主站点的所述对象;主站点根据所述对象的聚合特性读取所述对象的数据信息,并将所述对象的数据信息返回从站点;从站点按照预设的存储规则将所述对象的数据信息同步到从站点的存储集群中。本发明实施例提供的聚合对象的同步方法和系统,解决了对象存储系统中,站点间同步时同步特性和聚合特性不兼容的问题,提高了存储产品的适用性,提高了对象存储的竞争力。
-
公开(公告)号:CN113553325B
公开(公告)日:2025-02-21
申请号:CN202110676401.9
申请日:2021-06-18
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/22 , G06F16/245 , G06F16/2455 , G06F16/27
Abstract: 本发明实施例中提供了一种对象存储系统中聚合对象的同步方法和系统,具体包括:从站点发送http请求,获取主站点的data_log中的桶分片信息;从站点通过所述桶分片信息中对象的索引信息,分析所述对象是否需要同步;若需要同步,则从站点发送get请求,获取主站点的所述对象;主站点根据所述对象的聚合特性读取所述对象的数据信息,并将所述对象的数据信息返回从站点;从站点按照预设的存储规则将所述对象的数据信息同步到从站点的存储集群中。本发明实施例提供的聚合对象的同步方法和系统,解决了对象存储系统中,站点间同步时同步特性和聚合特性不兼容的问题,提高了存储产品的适用性,提高了对象存储的竞争力。
-
公开(公告)号:CN113821166B
公开(公告)日:2024-09-20
申请号:CN202110962671.6
申请日:2021-08-20
Applicant: 济南浪潮数据技术有限公司
Abstract: 本申请公开了一种聚合多版本小对象的方法、装置及设备,该方法包括:首先获取待聚合的至少一个目标多版本小对象,然后,对至少一个目标多版本小对象进行标记,并将标记记录到存储池中,接着,当获取到的目标多版本小对象的数量达到预设数量时,根据标记对目标多版本小对象进行聚合,并将得到的大对象进行存储;或者,当根据标记对目标多版本小对象进行聚合得到的大对象达到预设数值时,停止进行聚合,并将得到的大对象进行存储。从而能够减少分布式对象存储系统中小对象的存储数量,提高重构速度和兼容性,进而提高系统的存储速度。
-
公开(公告)号:CN117596256B
公开(公告)日:2024-03-22
申请号:CN202410078564.0
申请日:2024-01-19
Applicant: 济南浪潮数据技术有限公司
IPC: H04L67/1095 , H04L67/1097 , H04L67/02
Abstract: 本发明公开了一种数据同步方法、装置、系统、电子设备及可读存储介质,应用于分布式存储技术领域。其中,方法包括开启千亿桶功能的源站点主动向目标站点发送桶分片分裂完成通知请求,以将新分裂桶分片数据存储为同步进度对象数据。当检测到桶分片处于全量同步状态,向源站点发送源桶分片的分裂状态查询请求,并从存储池中获取源桶分片的同步进度对象数据;根据源桶分片的分裂状态和同步进度对象数据确定满足新桶分片全量同步触发条件,对源桶分片的新桶分片进行全量同步。本发明可以解决相关技术千亿桶的全量同步出现少对象的问题,能够实现目标站点在对分布式对象存储系统的千亿桶全量同步时与源站点的数据完全一致。
-
公开(公告)号:CN115470189A
公开(公告)日:2022-12-13
申请号:CN202211296548.6
申请日:2022-10-21
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/18 , G06F16/2455 , G06F16/27
Abstract: 本申请公开一种数据查询方法、装置及可读存储介质,涉及电子信息领域。本申请所提供的数据查询方法,应用于源站点,通过从目标站点中获取日志分片中的同步标记,从而获取得到对应的桶,将桶的名称发送至对应的目标站点,从而获取得到目标站点中对应的同步中的桶的配额以及源站点中的对应的桶的配额,依据两者的比值,即可获取得到对应的同步进度,对于同步速度的获取也可以通过联系周期时间获取,和以往的仅仅通过软件进行数据查询相比,由于能直接获取得到同步的进度以及速度,因此解决了当前数据同步功能中无法精准查询源站点和目的站点之间数据同步进度和速度的难题。
-
-
-
-
-
-
-
-
-