公开(公告)号：CN119148947B

公开(公告)日：2025-01-24

申请号：CN202411640394.7

申请日：2024-11-18

Applicant: 江苏华库数据技术有限公司 ,  天津南大通用数据技术股份有限公司

Inventor： 魏飞

IPC: G06F3/06

Abstract: 一种部署分片数的动态调整方法及装置，涉及分片部署技术领域，该方法包括：获取集群中的哈希缓存区大小，并根据磁盘监控数据获取参与计算的数据信息；根据所述哈希缓存区大小及所述数据信息计算获得最佳部署分片数；根据所述最佳部署分片数动态调整部署分片数。本发明能够输出最佳部署的分片数，避免因磁盘问题造成的性能下降，提高业务执行的性能。

公开(公告)号：CN119148947A

公开(公告)日：2024-12-17

申请号：CN202411640394.7

申请日：2024-11-18

Applicant: 江苏华库数据技术有限公司 ,  天津南大通用数据技术股份有限公司

Inventor： 魏飞

IPC: G06F3/06

Abstract: 一种部署分片数的动态调整方法及装置，涉及分片部署技术领域，该方法包括：获取集群中的哈希缓存区大小，并根据磁盘监控数据获取参与计算的数据信息；根据所述哈希缓存区大小及所述数据信息计算获得最佳部署分片数；根据所述最佳部署分片数动态调整部署分片数。本发明能够输出最佳部署的分片数，避免因磁盘问题造成的性能下降，提高业务执行的性能。

公开(公告)号：CN118277456A

公开(公告)日：2024-07-02

申请号：CN202410704629.8

申请日：2024-06-03

Applicant: 天津南大通用数据技术股份有限公司

Inventor： 魏飞 ,  李春华

IPC: G06F16/2458 ,  G06F16/22 ,  H04L67/1023 ,  H04L67/1029 ,  H04L67/1061 ,  H04L67/1095 ,  G06F16/27

Abstract: 本发明提供一种MPP分布式系统中的发起节点输出方法，涉及数据库技术领域，该方法包括：采集数据库集群中的节点数量及节点IP，根据分片信息进行排序获得节点分片及节点IP的第一映射关系；采集服务器信息，创建计算节点与管理节点的IP距离矩阵，获得距离矩阵；为每个计算节点分配多个哈希桶并记录计算节点与哈希桶的对应关系，并根据nodedatamap表信息及对应关系获取节点分片与计算节点的第二映射关系；提取查询语句的过滤条件中的哈希键，并根据哈希键查询获得计算节点的节点IP；由距离矩阵，根据节点IP查询结果查询计算节点和管理节点极小值，将对应节点作为发起节点输出，本发明能够选择最优发起节点，节省网络开销。

公开(公告)号：CN118277456B

公开(公告)日：2024-09-20

申请号：CN202410704629.8

申请日：2024-06-03

Applicant: 天津南大通用数据技术股份有限公司

Inventor： 魏飞 ,  李春华

IPC: G06F16/2458 ,  G06F16/22 ,  H04L67/1023 ,  H04L67/1029 ,  H04L67/1061 ,  H04L67/1095 ,  G06F16/27

Abstract: 本发明提供一种MPP分布式系统中的发起节点输出方法，涉及数据库技术领域，该方法包括：采集数据库集群中的节点数量及节点IP，根据分片信息进行排序获得节点分片及节点IP的第一映射关系；采集服务器信息，创建计算节点与管理节点的IP距离矩阵，获得距离矩阵；为每个计算节点分配多个哈希桶并记录计算节点与哈希桶的对应关系，并根据nodedatamap表信息及对应关系获取节点分片与计算节点的第二映射关系；提取查询语句的过滤条件中的哈希键，并根据哈希键查询获得计算节点的节点IP；由距离矩阵，根据节点IP查询结果查询计算节点和管理节点极小值，将对应节点作为发起节点输出，本发明能够选择最优发起节点，节省网络开销。