-
公开(公告)号:CN113760840B
公开(公告)日:2024-05-07
申请号:CN202010486788.7
申请日:2020-06-01
Applicant: 中移(苏州)软件技术有限公司 , 中国移动通信集团有限公司
IPC: G06F16/176 , G06F16/182 , G06F21/60 , G06F9/50
Abstract: 本申请公开了一种数据处理方法,该方法包括:检测到第一数据请求时,获取第一数值;其中,第一数值,用于表示为第一节点设置的数据处理速度;第一节点,用于表示与第一数据请求对应的用于实现对象数据存储的节点;当检测到对象数据开始传输时,控制第二节点基于第一数值,对第一节点的对象数据的处理速度进行管理;第二节点,用于表示对对象数据的处理速度进行管理的节点。本申请还公开了一种数据处理系统、设备和计算机可读存储介质。本申请所提供的数据处理方法,解决了相关技术中Ceph系统的对象网关(Rados Gateway,RGW)无法管理对象数据处理速度的问题,缓解了Ceph系统中用户的对象数据请求可能被阻塞的情况。
-
公开(公告)号:CN112583760A
公开(公告)日:2021-03-30
申请号:CN201910923474.6
申请日:2019-09-27
Applicant: 中移(苏州)软件技术有限公司 , 中国移动通信集团有限公司
Abstract: 本发明实施例公开了一种对象存储的访问方法、装置、设备和计算机存储介质,该方法包括:获取对象存储的存储集群的访问请求;对所述访问请求进行解析,得到解析结果,所述解析结果至少用于指示需要访问的存储集群;基于所述对象存储网关节点与对象存储的各存储集群的预先建立的连接、以及所述解析结果,将所述访问请求转发至所述需要访问的存储集群。如此,在根据访问请求的解析结果确定需要访问的存储集群时,可以将访问请求发送给对应的存储集群,进而,可以实现通过统一入口来访问多个存储集群,从而构造EB级别的对象存储集群。
-
公开(公告)号:CN120045602A
公开(公告)日:2025-05-27
申请号:CN202510020995.6
申请日:2025-01-02
Applicant: 中移(苏州)软件技术有限公司 , 中国移动通信集团有限公司
Inventor: 余礼杨
IPC: G06F16/2458 , G06F16/27 , G06F16/22
Abstract: 本申请提供一种数据存储方法、装置、电子设备、计算机存储介质和计算机程序产品,该方法包括:获取针对不同类型的元数据信息配置的多个主结构体;接收到目标用户的访问请求时,对所述访问请求进行解析,得到所述目标用户对应的用户信息、桶信息和桶索引信息;确定所述用户信息在对应的主结构体中的第一访问路径,以及所述桶信息在对应的主结构体中的第二访问路径;在根据所述第一访问路径和所述第二访问路径,确定所述用户信息和所述桶信息已存储的情况下,根据存储所述桶信息的子结构体,从所述桶索引信息对应的主结构体中确定用于存储所述桶索引信息的目标子结构体;将所述桶索引信存储至所述目标子结构体中的ScyllaDB集群。
-
公开(公告)号:CN116302667A
公开(公告)日:2023-06-23
申请号:CN202211435358.8
申请日:2022-11-16
Applicant: 中移(苏州)软件技术有限公司 , 中国移动通信集团有限公司
Inventor: 余礼杨
Abstract: 本发明实施例涉及存储技术领域,公开了一种数据存储方法、装置、设备及计算机存储介质,其中所述方法包括:将待存储数据进行分离处理,得到待存储数据的元数据和内容数据,并将所述待存储数据的元数据存储在scylladb集群中,将所述待存储数据的内容数据进行纠删码处理,得到N个纠删码分片,N为不小于3的正整数,向N个单副本池,发送所述N个纠删码分片;其中,所述N个单副本池与所述N个纠删码分片一一对应,所述N个单副本池属于至少两个rados集群。通过上述方式,本发明实施例能够避免容易出现数据无法被访问的情况,提高云存储系统的可用性。
-
公开(公告)号:CN116775701A
公开(公告)日:2023-09-19
申请号:CN202211513141.4
申请日:2022-11-28
Applicant: 中移(苏州)软件技术有限公司 , 中国移动通信集团有限公司
IPC: G06F16/2455 , G06F16/901 , G06F16/903
Abstract: 本申请提供了一种数据存储方法、装置及设备,应用于服务端,包括:接收客户端发送的存储位置查询请求,存储位置查询请求携带有待处理数据的键值信息;待处理数据至少包括一个键值信息;基于存储位置查询请求,在已构建的双向冗余链表中确定键值信息对应的目标存储分片;已构建的双向冗余链表表征处于各个存储分片中的各个键值信息按照双向冗余链的形式进行链接,双向冗余链表包括目标存储分片对应的标签信息;根据目标存储分片的标签信息,确定待处理数据的第一存储位置信息,并将第一存储位置信息发送至客户端,供客户端对待处理数据进行查询或者存储处理。本申请能够提高数据存储的可扩展性以及持久化能力,从而提高数据存储效率。
-
公开(公告)号:CN115525207A
公开(公告)日:2022-12-27
申请号:CN202110706381.5
申请日:2021-06-24
Applicant: 中移(苏州)软件技术有限公司 , 中国移动通信集团有限公司
Inventor: 余礼杨
IPC: G06F3/06
Abstract: 本发明提供了一种数据处理方法及装置、存储介质,服务器基于加载的结构体与多个存储池集群建立通信连接;结构体表征多个存储池集群中的多个存储池与存储属性信息之间的对应关系;响应接收到的数据存储请求,遍历结构体,确定与数据存储请求对应匹配的目标存储池;数据存储请求携带了待处理数据及对应的数据属性信息;将待处理数据通过与目标存储池所属存储池集群的通信连接分配给目标存储池进行存储,首先通过加载结构体并建立和多个集群的通信连接,在处理大量数据时可以在多个存储池中选择待存储数据对应的任一个存储池集群中的目标存储池进行存储,有效的提高了大量数据处理时的效率。
-
公开(公告)号:CN113760840A
公开(公告)日:2021-12-07
申请号:CN202010486788.7
申请日:2020-06-01
Applicant: 中移(苏州)软件技术有限公司 , 中国移动通信集团有限公司
IPC: G06F16/176 , G06F16/182 , G06F21/60 , G06F9/50
Abstract: 本申请公开了一种数据处理方法,该方法包括:检测到第一数据请求时,获取第一数值;其中,第一数值,用于表示为第一节点设置的数据处理速度;第一节点,用于表示与第一数据请求对应的用于实现对象数据存储的节点;当检测到对象数据开始传输时,控制第二节点基于第一数值,对第一节点的对象数据的处理速度进行管理;第二节点,用于表示对对象数据的处理速度进行管理的节点。本申请还公开了一种数据处理系统、设备和计算机可读存储介质。本申请所提供的数据处理方法,解决了相关技术中Ceph系统的对象网关(Rados Gateway,RGW)无法管理对象数据处理速度的问题,缓解了Ceph系统中用户的对象数据请求可能被阻塞的情况。
-
公开(公告)号:CN119806413A
公开(公告)日:2025-04-11
申请号:CN202411879821.7
申请日:2024-12-19
Applicant: 中移(苏州)软件技术有限公司 , 中国移动通信集团有限公司
IPC: G06F3/06
Abstract: 本申请公开了一种数据处理方法及装置、设备、程序产品、存储介质,所述方法包括:将数据按照第一方式存储至第一存储池集合中;所述第一方式为将所述数据拆分为N个数据分片,所述N个数据分片与所述第一存储池集合对应;其中,N为正整数;获取所述N个数据分片的状态信息;根据所述N个数据分片的状态信息处理所述N个数据分片。
-
公开(公告)号:CN114816229A
公开(公告)日:2022-07-29
申请号:CN202110127479.5
申请日:2021-01-29
Applicant: 中移(苏州)软件技术有限公司 , 中国移动通信集团有限公司
IPC: G06F3/06
Abstract: 本申请公开了一种分布式存储方法、装置及系统、电子设备及存储介质。所述分布式存储方法可包括:将第一数据存储在分布式存储系统中的至少一个存储节点;根据所述第一数据的存储位置,确定所述第一数据的数据索引,其中,所述数据索引为所述第一数据的元数据的组成部分;根据哈希规则,从所述分布式存储系统中选择存储所述元数据的存储节点;将所述元数据存储到选择的所述存储节点中。如此,实现对目标数据存储位置的灵活选择,降低单点故障处理成本。
-
公开(公告)号:CN112583760B
公开(公告)日:2022-05-31
申请号:CN201910923474.6
申请日:2019-09-27
Applicant: 中移(苏州)软件技术有限公司 , 中国移动通信集团有限公司
IPC: H04L9/40 , H04L67/1042 , H04L67/1097
Abstract: 本发明实施例公开了一种对象存储的访问方法、装置、设备和计算机存储介质,该方法包括:获取对象存储的存储集群的访问请求;对所述访问请求进行解析,得到解析结果,所述解析结果至少用于指示需要访问的存储集群;基于所述对象存储网关节点与对象存储的各存储集群的预先建立的连接、以及所述解析结果,将所述访问请求转发至所述需要访问的存储集群。如此,在根据访问请求的解析结果确定需要访问的存储集群时,可以将访问请求发送给对应的存储集群,进而,可以实现通过统一入口来访问多个存储集群,从而构造EB级别的对象存储集群。
-
-
-
-
-
-
-
-
-