公开(公告)号：CN113746894A

公开(公告)日：2021-12-03

申请号：CN202110836160.X

申请日：2021-07-23

Applicant: 济南浪潮数据技术有限公司

Inventor： 潘利杰 ,  常洪耀 ,  秦正 ,  尹明俊

IPC: H04L29/08 ,  H04L12/721 ,  H04L12/741 ,  G06F9/50 ,  G06F16/182

Abstract: 本发明提供一种基于HDFS RBF路由层实现负载均衡方法、装置，所述方法包括如下步骤：通过设置客户端配置项的值设置客户端路由选择策略；读取选择策略对应的值；根据读取的值调用路由选择策略对应的选择方法选择一个路由服务地址返回给客户端。路由选择策略包括主机负载策略、连接数策略、轮询访问策略；所述的主机负载策略，根据所有路由服务节点CPU利用率，选择CPU利用率值最小的路由服务节点的策略；连接数策略，根据当前路由服务节点的客户端连接数，选择连接数最少的路由服务节点的策略；轮询访问策略，客户端对所有路由服务节点排序并做序号标记，按照顺序轮询连接路由服务节点的策略。解决Router的负载均衡问题。

公开(公告)号：CN113656363B

公开(公告)日：2025-01-07

申请号：CN202110805256.X

申请日：2021-07-16

Applicant: 济南浪潮数据技术有限公司

Inventor： 尹明俊 ,  常洪耀 ,  潘利杰

IPC: G06F16/174 ,  G06F16/16 ,  G06F16/182

Abstract: 本发明提出了一种基于HDFS的数据去重方法、系统、设备和存储介质，该方法包括计算待去重工作节点下文件块的标识值，将文件全路径与标识值组成键值对，然后将键值对聚合成第一映射数组并发送至命名空间；在命名空间，二次聚合映射数组得到第二映射数组；查询第二映射数组中键值对的标识值在映射表中如果已经存在，获取第二映射数组中键值对对应的块索引信息，根据块索引信息，将重复标识值块对应的块信息替换为第二映射数组中键值对的标识值对应的块信息。基于该方法还提出了一种基于HDFS的数据去重系统、设备和存储介质。本发明基于HDFS的数据去重，实现数据去重服务化，免去外部依赖，可有效降低存储成本。

公开(公告)号：CN118466862A

公开(公告)日：2024-08-09

申请号：CN202410931650.1

申请日：2024-07-12

Applicant: 济南浪潮数据技术有限公司

Inventor： 尹明俊 ,  张东 ,  颜秉珩 ,  方浩

IPC: G06F3/06

Abstract: 本发明公开了一种数据存储方法、产品、装置以及介质，涉及数据存储技术领域。利用面向分布式哈希表算法的数据分布设计对应的降级副本节点，以便于在健康副本节点和降级副本节点中进行故障节点对应的副本数据读写业务。实现IO无需恢复的正常读写业务，通过降级副本列表和有效数据位图标记，实现集群降级后的IO读写，解除IO与数据恢复的依赖关系，保证降级后数据容错不下降。支持故障场景下的数据延时恢复，根据延时恢复策略对降级副本节点的降级副本进行数据恢复以完成数据存储，以完成数据恢复过程，保障在故障器件最小化对业务IO的性能影响，优化IO性能，提高IO读写效率。

公开(公告)号：CN118466862B

公开(公告)日：2024-09-17

申请号：CN202410931650.1

申请日：2024-07-12

Applicant: 济南浪潮数据技术有限公司

Inventor： 尹明俊 ,  张东 ,  颜秉珩 ,  方浩

IPC: G06F3/06

Abstract: 本发明公开了一种数据存储方法、产品、装置以及介质，涉及数据存储技术领域。利用面向分布式哈希表算法的数据分布设计对应的降级副本节点，以便于在健康副本节点和降级副本节点中进行故障节点对应的副本数据读写业务。实现IO无需恢复的正常读写业务，通过降级副本列表和有效数据位图标记，实现集群降级后的IO读写，解除IO与数据恢复的依赖关系，保证降级后数据容错不下降。支持故障场景下的数据延时恢复，根据延时恢复策略对降级副本节点的降级副本进行数据恢复以完成数据存储，以完成数据恢复过程，保障在故障器件最小化对业务IO的性能影响，优化IO性能，提高IO读写效率。

公开(公告)号：CN113656363A

公开(公告)日：2021-11-16

申请号：CN202110805256.X

申请日：2021-07-16

Applicant: 济南浪潮数据技术有限公司

Inventor： 尹明俊 ,  常洪耀 ,  潘利杰

IPC: G06F16/174 ,  G06F16/16 ,  G06F16/182

Abstract: 本发明提出了一种基于HDFS的数据去重方法、系统、设备和存储介质，该方法包括计算待去重工作节点下文件块的标识值，将文件全路径与标识值组成键值对，然后将键值对聚合成第一映射数组并发送至命名空间；在命名空间，二次聚合映射数组得到第二映射数组；查询第二映射数组中键值对的标识值在映射表中如果已经存在，获取第二映射数组中键值对对应的块索引信息，根据块索引信息，将重复标识值块对应的块信息替换为第二映射数组中键值对的标识值对应的块信息。基于该方法还提出了一种基于HDFS的数据去重系统、设备和存储介质。本发明基于HDFS的数据去重，实现数据去重服务化，免去外部依赖，可有效降低存储成本。