公开(公告)号：CN106484815B

公开(公告)日：2019-04-12

申请号：CN201610849786.3

申请日：2016-09-26

Applicant: 北京赛思信安技术股份有限公司 ,  国家计算机网络与信息安全管理中心

Inventor： 王宇 ,  徐晓燕 ,  周渊 ,  刘庆良 ,  郑彩娟 ,  王振宇 ,  黄成 ,  李斌斌 ,  周游 ,  刘斌斌

IPC: G06F16/2453 ,  G06F16/22 ,  G06F16/2452

Abstract: 本发明提供了一种基于海量数据类SQL检索场景的自动识别优化方法，属于海量数据统计分析领域。本发明通过五方面来进行优化：引入lucene作为可选存储介质；对每个数据文件的检索字段增加bloomfilter索引(bf索引)；对不同检索场景的划分及最优存储介质的选择；在进行lucene检索场景时，将类SQL语句转换为lucene语句；对lucene存储介质和bf索引添加有效性的会话级设置。在检索时，首先判定bf索引会话级的有效性，通过bf索引缩小待检索数据文件列表，再判定lucene存储介质的会话级有效性。本发明有效降低了海量数据检索时集群的资源消耗，大幅度提升了海量数据的检索性能。

公开(公告)号：CN106484815A

公开(公告)日：2017-03-08

申请号：CN201610849786.3

申请日：2016-09-26

Applicant: 北京赛思信安技术股份有限公司 ,  国家计算机网络与信息安全管理中心

Inventor： 王宇 ,  徐晓燕 ,  周渊 ,  刘庆良 ,  郑彩娟 ,  王振宇 ,  黄成 ,  李斌斌 ,  周游 ,  刘斌斌

IPC: G06F17/30

CPC classification number: G06F17/30442 ,  G06F17/30321 ,  G06F17/30427

Abstract: 本发明提供了一种基于海量数据类SQL检索场景的自动识别优化方法，属于海量数据统计分析领域。本发明通过五方面来进行优化：引入lucene作为可选存储介质；对每个数据文件的检索字段增加bloomfilter索引(bf索引)；对不同检索场景的划分及最优存储介质的选择；在进行lucene检索场景时，将类SQL语句转换为lucene语句；对lucene存储介质和bf索引添加有效性的会话级设置。在检索时，首先判定bf索引会话级的有效性，通过bf索引缩小待检索数据文件列表，再判定lucene存储介质的会话级有效性。本发明有效降低了海量数据检索时集群的资源消耗，大幅度提升了海量数据的检索性能。