-
公开(公告)号:CN113010547B
公开(公告)日:2023-04-07
申请号:CN202110491751.8
申请日:2021-05-06
Applicant: 电子科技大学
IPC: G06F16/2453 , G06F16/2455 , G06F16/22 , G06N3/044 , G06N3/045 , G06N3/08
Abstract: 本发明公开了一种基于图神经网络的数据库查询优化方法及系统,方法包括:数据采集:根据数据的使用规律来合理的调节采样行为;基数及代价估计:利用树型图神经网络提取查询计划树的结构特征,并使用图卷积网络提取各个数据列的关联关系及连接的拓扑关系,从而建立基数及代价估计网络模型;连接顺序优化:利用图卷积算法提取查询特征和连接顺序特征,并利用强化学习算法感知数据库真实环境,从而不断优化模型,从而提升连接顺序决策的效果;通过对数据分布特征、关联关系和数据库环境特点的学习,建立基数估计模型和连接顺序优化模型,并将算法融合到分布式关系型数据库中。本发明提高在逻辑优化和物理优化阶段的算法效率,提升了查询执行速度。
-
公开(公告)号:CN111552710B
公开(公告)日:2023-07-04
申请号:CN202010352089.3
申请日:2020-04-28
Applicant: 电子科技大学
IPC: G06F16/2453 , G06F16/28
Abstract: 本发明公开了一种分布式数据库的查询优化方法,方法包括:修改LIP算法中的计算操作并下推部分计算,基于多表聚合操作完成后的聚合数据建立哈希表并完成探测,形成分布式的LIP算法;在存储层构建过滤器,数据在TiKV节点完成表扫描和算子操作后,以维度表的每个分区表构建过滤器,构建完成的过滤器通过网络分发到其他节点;修改缺失率计算公式,探测过滤器并计算过滤器的缺失率,按照缺失率对过滤器升序排列;数据经过TiKV节点的算子计算和过滤器勘测后,返回TiKV节点,并在TiDB服务器上进行聚合之后,将聚合后的查询结果返回给客户端。通过本发明能降低次优计划执行对查询性能的影响,提升TiDB在星型模型查询下的性能,并减少分布式环境下的数据网络开销。
-
公开(公告)号:CN113010547A
公开(公告)日:2021-06-22
申请号:CN202110491751.8
申请日:2021-05-06
Applicant: 电子科技大学
IPC: G06F16/2453 , G06F16/2455 , G06F16/22 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于图神经网络的数据库查询优化方法及系统,方法包括:数据采集:根据数据的使用规律来合理的调节采样行为;基数及代价估计:利用树型图神经网络提取查询计划树的结构特征,并使用图卷积网络提取各个数据列的关联关系及连接的拓扑关系,从而建立基数及代价估计网络模型;连接顺序优化:利用图卷积算法提取查询特征和连接顺序特征,并利用强化学习算法感知数据库真实环境,从而不断优化模型,从而提升连接顺序决策的效果;通过对数据分布特征、关联关系和数据库环境特点的学习,建立基数估计模型和连接顺序优化模型,并将算法融合到分布式关系型数据库中。本发明提高在逻辑优化和物理优化阶段的算法效率,提升了查询执行速度。
-
公开(公告)号:CN111552710A
公开(公告)日:2020-08-18
申请号:CN202010352089.3
申请日:2020-04-28
Applicant: 电子科技大学
IPC: G06F16/2453 , G06F16/28
Abstract: 本发明公开了一种分布式数据库的查询优化方法,方法包括:修改LIP算法中的计算操作并下推部分计算,基于多表聚合操作完成后的聚合数据建立哈希表并完成探测,形成分布式的LIP算法;在存储层构建过滤器,数据在TiKV节点完成表扫描和算子操作后,以维度表的每个分区表构建过滤器,构建完成的过滤器通过网络分发到其他节点;修改缺失率计算公式,探测过滤器并计算过滤器的缺失率,按照缺失率对过滤器升序排列;数据经过TiKV节点的算子计算和过滤器勘测后,返回TiKV节点,并在TiDB服务器上进行聚合之后,将聚合后的查询结果返回给客户端。通过本发明能降低次优计划执行对查询性能的影响,提升TiDB在星型模型查询下的性能,并减少分布式环境下的数据网络开销。
-
-
-