-
公开(公告)号:CN111552710B
公开(公告)日:2023-07-04
申请号:CN202010352089.3
申请日:2020-04-28
Applicant: 电子科技大学
IPC: G06F16/2453 , G06F16/28
Abstract: 本发明公开了一种分布式数据库的查询优化方法,方法包括:修改LIP算法中的计算操作并下推部分计算,基于多表聚合操作完成后的聚合数据建立哈希表并完成探测,形成分布式的LIP算法;在存储层构建过滤器,数据在TiKV节点完成表扫描和算子操作后,以维度表的每个分区表构建过滤器,构建完成的过滤器通过网络分发到其他节点;修改缺失率计算公式,探测过滤器并计算过滤器的缺失率,按照缺失率对过滤器升序排列;数据经过TiKV节点的算子计算和过滤器勘测后,返回TiKV节点,并在TiDB服务器上进行聚合之后,将聚合后的查询结果返回给客户端。通过本发明能降低次优计划执行对查询性能的影响,提升TiDB在星型模型查询下的性能,并减少分布式环境下的数据网络开销。
-
公开(公告)号:CN112988802A
公开(公告)日:2021-06-18
申请号:CN202110475590.3
申请日:2021-04-29
Applicant: 电子科技大学
IPC: G06F16/2453 , G06F16/242 , G06F16/22 , G06F16/28 , G06N3/04 , G06N3/08 , G06N20/00
Abstract: 本发明公开了一种基于强化学习的关系型数据库查询优化方法及系统,方法包括以下步骤:步骤1:通过树卷积神经网络提取逻辑计划树及优化器状态信息特征;步骤2:利用强化学习模型获得匹配的优化规则应用顺序;步骤3:优化器选择适合当前查询的优化规则;系统包括规则应用与信息采集模块、机器学习模块和数据交换模块;所述规则应用与信息采集模块和机器学习模块通过数据交换模块连接,通过本地RPC请求实现数据库与规则应用与信息采集模块和机器学习模块的数据交互。本发明使用强化学习让数据库能够根据当前处理的SQL查询语句自动选择每一步的逻辑优化规则,增加了逻辑优化的可扩展性,提高了逻辑优化阶段的灵活性,进而提高数据查新效率。
-
公开(公告)号:CN111522807B
公开(公告)日:2023-05-30
申请号:CN202010350654.2
申请日:2020-04-28
Applicant: 电子科技大学
IPC: G06F16/215 , G06F16/24 , G06F11/14
-
公开(公告)号:CN112988802B
公开(公告)日:2022-07-15
申请号:CN202110475590.3
申请日:2021-04-29
Applicant: 电子科技大学
IPC: G06F16/2453 , G06F16/242 , G06F16/22 , G06F16/28 , G06N3/04 , G06N3/08 , G06N20/00
Abstract: 本发明公开了一种基于强化学习的关系型数据库查询优化方法及系统,方法包括以下步骤:步骤1:通过树卷积神经网络提取逻辑计划树及优化器状态信息特征;步骤2:利用强化学习模型获得匹配的优化规则应用顺序;步骤3:优化器选择适合当前查询的优化规则;系统包括规则应用与信息采集模块、机器学习模块和数据交换模块;所述规则应用与信息采集模块和机器学习模块通过数据交换模块连接,通过本地RPC请求实现数据库与规则应用与信息采集模块和机器学习模块的数据交互。本发明使用强化学习让数据库能够根据当前处理的SQL查询语句自动选择每一步的逻辑优化规则,增加了逻辑优化的可扩展性,提高了逻辑优化阶段的灵活性,进而提高数据查新效率。
-
公开(公告)号:CN111552710A
公开(公告)日:2020-08-18
申请号:CN202010352089.3
申请日:2020-04-28
Applicant: 电子科技大学
IPC: G06F16/2453 , G06F16/28
Abstract: 本发明公开了一种分布式数据库的查询优化方法,方法包括:修改LIP算法中的计算操作并下推部分计算,基于多表聚合操作完成后的聚合数据建立哈希表并完成探测,形成分布式的LIP算法;在存储层构建过滤器,数据在TiKV节点完成表扫描和算子操作后,以维度表的每个分区表构建过滤器,构建完成的过滤器通过网络分发到其他节点;修改缺失率计算公式,探测过滤器并计算过滤器的缺失率,按照缺失率对过滤器升序排列;数据经过TiKV节点的算子计算和过滤器勘测后,返回TiKV节点,并在TiDB服务器上进行聚合之后,将聚合后的查询结果返回给客户端。通过本发明能降低次优计划执行对查询性能的影响,提升TiDB在星型模型查询下的性能,并减少分布式环境下的数据网络开销。
-
公开(公告)号:CN111522807A
公开(公告)日:2020-08-11
申请号:CN202010350654.2
申请日:2020-04-28
Applicant: 电子科技大学
IPC: G06F16/215 , G06F16/24 , G06F11/14
Abstract: 本发明公开了一种数据库错误数据修复方法,首先通过数据库访问模块获取目标数据库中的数据表,根据数据表中现有数据建立数据库表不同属性列之间的关系模式;然后利用建立好的关系模式通过正确属性列中的数据从领域知识库查询以获取正确的数据;最后,通过数据库访问模块将正确数据写回数据库中。本发明通过建立显式和隐式的关系模式,通过查询知识库以获取正确的数据,可以在修复的时候结合整个数据库中不同表的关联数据在知识库中进行数据的查找,因此可以有效提高数据库中无显式实际意义的外键列的错误数据修复效率,从而提高整个数据库错误数据的修复效率。
-
-
-
-
-