一种基于图神经网络的数据库查询优化方法及系统

    公开(公告)号:CN113010547B

    公开(公告)日:2023-04-07

    申请号:CN202110491751.8

    申请日:2021-05-06

    Abstract: 本发明公开了一种基于图神经网络的数据库查询优化方法及系统,方法包括:数据采集:根据数据的使用规律来合理的调节采样行为;基数及代价估计:利用树型图神经网络提取查询计划树的结构特征,并使用图卷积网络提取各个数据列的关联关系及连接的拓扑关系,从而建立基数及代价估计网络模型;连接顺序优化:利用图卷积算法提取查询特征和连接顺序特征,并利用强化学习算法感知数据库真实环境,从而不断优化模型,从而提升连接顺序决策的效果;通过对数据分布特征、关联关系和数据库环境特点的学习,建立基数估计模型和连接顺序优化模型,并将算法融合到分布式关系型数据库中。本发明提高在逻辑优化和物理优化阶段的算法效率,提升了查询执行速度。

    一种分布式数据库的查询优化方法

    公开(公告)号:CN111552710B

    公开(公告)日:2023-07-04

    申请号:CN202010352089.3

    申请日:2020-04-28

    Abstract: 本发明公开了一种分布式数据库的查询优化方法,方法包括:修改LIP算法中的计算操作并下推部分计算,基于多表聚合操作完成后的聚合数据建立哈希表并完成探测,形成分布式的LIP算法;在存储层构建过滤器,数据在TiKV节点完成表扫描和算子操作后,以维度表的每个分区表构建过滤器,构建完成的过滤器通过网络分发到其他节点;修改缺失率计算公式,探测过滤器并计算过滤器的缺失率,按照缺失率对过滤器升序排列;数据经过TiKV节点的算子计算和过滤器勘测后,返回TiKV节点,并在TiDB服务器上进行聚合之后,将聚合后的查询结果返回给客户端。通过本发明能降低次优计划执行对查询性能的影响,提升TiDB在星型模型查询下的性能,并减少分布式环境下的数据网络开销。

    一种基于图神经网络的数据库查询优化方法及系统

    公开(公告)号:CN113010547A

    公开(公告)日:2021-06-22

    申请号:CN202110491751.8

    申请日:2021-05-06

    Abstract: 本发明公开了一种基于图神经网络的数据库查询优化方法及系统,方法包括:数据采集:根据数据的使用规律来合理的调节采样行为;基数及代价估计:利用树型图神经网络提取查询计划树的结构特征,并使用图卷积网络提取各个数据列的关联关系及连接的拓扑关系,从而建立基数及代价估计网络模型;连接顺序优化:利用图卷积算法提取查询特征和连接顺序特征,并利用强化学习算法感知数据库真实环境,从而不断优化模型,从而提升连接顺序决策的效果;通过对数据分布特征、关联关系和数据库环境特点的学习,建立基数估计模型和连接顺序优化模型,并将算法融合到分布式关系型数据库中。本发明提高在逻辑优化和物理优化阶段的算法效率,提升了查询执行速度。

    一种分布式数据库的查询优化方法

    公开(公告)号:CN111552710A

    公开(公告)日:2020-08-18

    申请号:CN202010352089.3

    申请日:2020-04-28

    Abstract: 本发明公开了一种分布式数据库的查询优化方法,方法包括:修改LIP算法中的计算操作并下推部分计算,基于多表聚合操作完成后的聚合数据建立哈希表并完成探测,形成分布式的LIP算法;在存储层构建过滤器,数据在TiKV节点完成表扫描和算子操作后,以维度表的每个分区表构建过滤器,构建完成的过滤器通过网络分发到其他节点;修改缺失率计算公式,探测过滤器并计算过滤器的缺失率,按照缺失率对过滤器升序排列;数据经过TiKV节点的算子计算和过滤器勘测后,返回TiKV节点,并在TiDB服务器上进行聚合之后,将聚合后的查询结果返回给客户端。通过本发明能降低次优计划执行对查询性能的影响,提升TiDB在星型模型查询下的性能,并减少分布式环境下的数据网络开销。

Patent Agency Ranking