-
公开(公告)号:CN113760840A
公开(公告)日:2021-12-07
申请号:CN202010486788.7
申请日:2020-06-01
Applicant: 中移(苏州)软件技术有限公司 , 中国移动通信集团有限公司
IPC: G06F16/176 , G06F16/182 , G06F21/60 , G06F9/50
Abstract: 本申请公开了一种数据处理方法,该方法包括:检测到第一数据请求时,获取第一数值;其中,第一数值,用于表示为第一节点设置的数据处理速度;第一节点,用于表示与第一数据请求对应的用于实现对象数据存储的节点;当检测到对象数据开始传输时,控制第二节点基于第一数值,对第一节点的对象数据的处理速度进行管理;第二节点,用于表示对对象数据的处理速度进行管理的节点。本申请还公开了一种数据处理系统、设备和计算机可读存储介质。本申请所提供的数据处理方法,解决了相关技术中Ceph系统的对象网关(Rados Gateway,RGW)无法管理对象数据处理速度的问题,缓解了Ceph系统中用户的对象数据请求可能被阻塞的情况。
-
公开(公告)号:CN116775701A
公开(公告)日:2023-09-19
申请号:CN202211513141.4
申请日:2022-11-28
Applicant: 中移(苏州)软件技术有限公司 , 中国移动通信集团有限公司
IPC: G06F16/2455 , G06F16/901 , G06F16/903
Abstract: 本申请提供了一种数据存储方法、装置及设备,应用于服务端,包括:接收客户端发送的存储位置查询请求,存储位置查询请求携带有待处理数据的键值信息;待处理数据至少包括一个键值信息;基于存储位置查询请求,在已构建的双向冗余链表中确定键值信息对应的目标存储分片;已构建的双向冗余链表表征处于各个存储分片中的各个键值信息按照双向冗余链的形式进行链接,双向冗余链表包括目标存储分片对应的标签信息;根据目标存储分片的标签信息,确定待处理数据的第一存储位置信息,并将第一存储位置信息发送至客户端,供客户端对待处理数据进行查询或者存储处理。本申请能够提高数据存储的可扩展性以及持久化能力,从而提高数据存储效率。
-
公开(公告)号:CN112631826A
公开(公告)日:2021-04-09
申请号:CN201910955659.5
申请日:2019-10-09
Applicant: 中移(苏州)软件技术有限公司 , 中国移动通信集团有限公司
IPC: G06F11/14
Abstract: 本发明实施例提供了一种备份处理方法、装置以及计算机可读存储介质,其中方法包括:获取待恢复目标备份对应的备份链;其中,所述备份链中包含有至少一个备份信息,以及所述每一个备份信息所对应的父备份信息和/或子备份信息;所述待恢复目标备份为所述至少一个备份信息中之一;基于所述备份链,确定所述待恢复目标备份的父备份信息;基于所述待恢复目标备份以及所述父备份信息分别对应的元数据信息的补集以及并集,对所述待恢复目标备份进行恢复。避免按照备份链的时间顺序,从前往后依次迭代恢复,所带来的大量的重复数据被多次覆盖写的问题,从而提升了备份处理的效率。
-
公开(公告)号:CN113760840B
公开(公告)日:2024-05-07
申请号:CN202010486788.7
申请日:2020-06-01
Applicant: 中移(苏州)软件技术有限公司 , 中国移动通信集团有限公司
IPC: G06F16/176 , G06F16/182 , G06F21/60 , G06F9/50
Abstract: 本申请公开了一种数据处理方法,该方法包括:检测到第一数据请求时,获取第一数值;其中,第一数值,用于表示为第一节点设置的数据处理速度;第一节点,用于表示与第一数据请求对应的用于实现对象数据存储的节点;当检测到对象数据开始传输时,控制第二节点基于第一数值,对第一节点的对象数据的处理速度进行管理;第二节点,用于表示对对象数据的处理速度进行管理的节点。本申请还公开了一种数据处理系统、设备和计算机可读存储介质。本申请所提供的数据处理方法,解决了相关技术中Ceph系统的对象网关(Rados Gateway,RGW)无法管理对象数据处理速度的问题,缓解了Ceph系统中用户的对象数据请求可能被阻塞的情况。
-
公开(公告)号:CN112583760A
公开(公告)日:2021-03-30
申请号:CN201910923474.6
申请日:2019-09-27
Applicant: 中移(苏州)软件技术有限公司 , 中国移动通信集团有限公司
Abstract: 本发明实施例公开了一种对象存储的访问方法、装置、设备和计算机存储介质,该方法包括:获取对象存储的存储集群的访问请求;对所述访问请求进行解析,得到解析结果,所述解析结果至少用于指示需要访问的存储集群;基于所述对象存储网关节点与对象存储的各存储集群的预先建立的连接、以及所述解析结果,将所述访问请求转发至所述需要访问的存储集群。如此,在根据访问请求的解析结果确定需要访问的存储集群时,可以将访问请求发送给对应的存储集群,进而,可以实现通过统一入口来访问多个存储集群,从而构造EB级别的对象存储集群。
-
公开(公告)号:CN112631826B
公开(公告)日:2023-04-07
申请号:CN201910955659.5
申请日:2019-10-09
Applicant: 中移(苏州)软件技术有限公司 , 中国移动通信集团有限公司
IPC: G06F11/14
Abstract: 本发明实施例提供了一种备份处理方法、装置以及计算机可读存储介质,其中方法包括:获取待恢复目标备份对应的备份链;其中,所述备份链中包含有至少一个备份信息,以及所述每一个备份信息所对应的父备份信息和/或子备份信息;所述待恢复目标备份为所述至少一个备份信息中之一;基于所述备份链,确定所述待恢复目标备份的父备份信息;基于所述待恢复目标备份以及所述父备份信息分别对应的元数据信息的补集以及并集,对所述待恢复目标备份进行恢复。避免按照备份链的时间顺序,从前往后依次迭代恢复,所带来的大量的重复数据被多次覆盖写的问题,从而提升了备份处理的效率。
-
公开(公告)号:CN114816229A
公开(公告)日:2022-07-29
申请号:CN202110127479.5
申请日:2021-01-29
Applicant: 中移(苏州)软件技术有限公司 , 中国移动通信集团有限公司
IPC: G06F3/06
Abstract: 本申请公开了一种分布式存储方法、装置及系统、电子设备及存储介质。所述分布式存储方法可包括:将第一数据存储在分布式存储系统中的至少一个存储节点;根据所述第一数据的存储位置,确定所述第一数据的数据索引,其中,所述数据索引为所述第一数据的元数据的组成部分;根据哈希规则,从所述分布式存储系统中选择存储所述元数据的存储节点;将所述元数据存储到选择的所述存储节点中。如此,实现对目标数据存储位置的灵活选择,降低单点故障处理成本。
-
公开(公告)号:CN112583760B
公开(公告)日:2022-05-31
申请号:CN201910923474.6
申请日:2019-09-27
Applicant: 中移(苏州)软件技术有限公司 , 中国移动通信集团有限公司
IPC: H04L9/40 , H04L67/1042 , H04L67/1097
Abstract: 本发明实施例公开了一种对象存储的访问方法、装置、设备和计算机存储介质,该方法包括:获取对象存储的存储集群的访问请求;对所述访问请求进行解析,得到解析结果,所述解析结果至少用于指示需要访问的存储集群;基于所述对象存储网关节点与对象存储的各存储集群的预先建立的连接、以及所述解析结果,将所述访问请求转发至所述需要访问的存储集群。如此,在根据访问请求的解析结果确定需要访问的存储集群时,可以将访问请求发送给对应的存储集群,进而,可以实现通过统一入口来访问多个存储集群,从而构造EB级别的对象存储集群。
-
公开(公告)号:CN108089814B
公开(公告)日:2021-04-06
申请号:CN201611038740.X
申请日:2016-11-23
Applicant: 中移(苏州)软件技术有限公司 , 中国移动通信集团公司
IPC: G06F3/06
Abstract: 本发明实施例公开了一种数据存储方法,所述方法包括:获取待处理数据的流量值;基于所述流量值和预设选择策略,确定目标存储器并存储所述待处理数据至所述目标存储器中;其中,所述目标存储器包括第一存储器集合或者第二存储器集合中的一个存储器;当预设周期到来时,获取所述第一存储器集合的空间使用率和所述第二存储器集合的空间使用率;根据所述第一存储器集合的空间使用率和所述第二存储器集合的空间使用率,确定是否迁移所述第一存储器集合中的数据至所述第二存储器集合中。本发明实施例同时还公开了一种数据存储装置。
-
公开(公告)号:CN108089814A
公开(公告)日:2018-05-29
申请号:CN201611038740.X
申请日:2016-11-23
Applicant: 中移(苏州)软件技术有限公司 , 中国移动通信集团公司
IPC: G06F3/06
Abstract: 本发明实施例公开了一种数据存储方法,所述方法包括:获取待处理数据的流量值;基于所述流量值和预设选择策略,确定目标存储器并存储所述待处理数据至所述目标存储器中;其中,所述目标存储器包括第一存储器集合或者第二存储器集合中的一个存储器;当预设周期到来时,获取所述第一存储器集合的空间使用率和所述第二存储器集合的空间使用率;根据所述第一存储器集合的空间使用率和所述第二存储器集合的空间使用率,确定是否迁移所述第一存储器集合中的数据至所述第二存储器集合中。本发明实施例同时还公开了一种数据存储装置。
-
-
-
-
-
-
-
-
-