公开(公告)号：CN116561169A

公开(公告)日：2023-08-08

申请号：CN202310545641.4

申请日：2023-05-15

Applicant: 南京大学

Inventor： 顾荣 ,  鲍文杰 ,  戴海鹏 ,  陈国旺 ,  陈启明 ,  王问骁 ,  陈贵海

IPC: G06F16/2453 ,  G06F16/2455 ,  G06F16/27 ,  G06F16/955

Abstract: 本发明公开了一种自动化云原生大数据查询加速方法，该方法包括如下步骤：集群管理员创建缓存系统集群；用户提交查询过程访问的数据表描述；控制器检查缓存系统创建情况，修改元数据存储组件中数据表元信息；控制器将对应数据表挂载到缓存系统中；用户将大数据查询提交至大数据查询系统中，初次访问数据时会将数据表从远程存储中读取，后续访问相同数据表将直接通过缓存系统进行访问；本发明在云原生场景下给用户提供自动化的数据访问加速，降低用户使用门槛与编程开销，提高查询的执行效率，缓解了云原生存算分离架构带来的数据访问延迟以及数据存储异构等问题。

公开(公告)号：CN116561168A

公开(公告)日：2023-08-08

申请号：CN202310542541.6

申请日：2023-05-15

Applicant: 南京大学

Inventor： 顾荣 ,  鲍文杰 ,  戴海鹏 ,  陈国旺 ,  陈启明 ,  王问骁 ,  陈贵海

IPC: G06F16/2453 ,  G06F16/2455

Abstract: 本发明公开了一种基于缓存复用的大数据异构查询调度方法，包括如下步骤：获取用户提交查询的信息；将所有查询提交到待执行队列中；按照大数据查询类型对查询进行分类并分别调用如下步骤；根据缓存系统大小确定历史查询窗口大小；依据历史查询窗口中查询访问的数据表来对待执行队列中的所有查询计算查询缓存占比；将具有最高查询缓存占比的查询放置到待执行队列中；按照顺序将待执行队列中的查询提交到大数据查询系统中。本发明在大数据查询调度场景下，充分考虑了查询类型以及缓存状态来进行调度，减少缓存替换频率并提高查询序列的整体执行效率。本发明解决了大数据查询系统难以感知数据缓存状态造成的性能低下问题。