-
公开(公告)号:CN112988904B
公开(公告)日:2025-01-03
申请号:CN202110441950.8
申请日:2021-04-23
Applicant: 广州汇智通信技术有限公司
Abstract: 本申请公开了一种分布式数据管理系统及数据存储方法,本申请通过对结果集数据进行动态抽样,得到结果集数据的索引列数据,再对索引列数据进行抽样处理,得到结果集数据的成本样例数据;数据量预估单元根据成本样例数据,结合数据量预估模型,以通过数据量预估模型的运算,获得结果集数据的数据量分值;数据入库处理单元根据数据量分值与预置的数据量阈值的比较结果,结合比较结果与数据存储方式的对应关系,以按照比较结果对应的数据存储方式,将结果集数据存入存储节点,基于数据量大小的不同,对应采取不同的存储方式,解决了现有的分布式数据管理系统对于结果集的处理存在的资源浪费、运算效率低的技术问题。
-
公开(公告)号:CN112988904A
公开(公告)日:2021-06-18
申请号:CN202110441950.8
申请日:2021-04-23
Applicant: 广州汇智通信技术有限公司
Abstract: 本申请公开了一种分布式数据管理系统及数据存储方法,本申请通过对结果集数据进行动态抽样,得到结果集数据的索引列数据,再对索引列数据进行抽样处理,得到结果集数据的成本样例数据;数据量预估单元根据成本样例数据,结合数据量预估模型,以通过数据量预估模型的运算,获得结果集数据的数据量分值;数据入库处理单元根据数据量分值与预置的数据量阈值的比较结果,结合比较结果与数据存储方式的对应关系,以按照比较结果对应的数据存储方式,将结果集数据存入存储节点,基于数据量大小的不同,对应采取不同的存储方式,解决了现有的分布式数据管理系统对于结果集的处理存在的资源浪费、运算效率低的技术问题。
-