公开(公告)号：CN104572893B

公开(公告)日：2018-02-27

申请号：CN201410818000.2

申请日：2014-12-24

Applicant: 天津南大通用数据技术股份有限公司

Inventor： 贺岩 ,  郑黎辉 ,  鹿明 ,  武新 ,  崔维力

IPC: G06F17/30

Abstract: 本发明提供一种数据库中的数据混合存储方法，将采用列存储的原数据库表中的列数据分为列存储数据和行存储数据并存储在同一数据库表中；所述行存储数据的存储结构在内部融合列存储数据的数据存储特征；所述数据库表中的列存储数据是根据运行系统查询特征选择的数据列，用于进行列扫描多关联的条件列等数据查询定位操作。本发明具有的优点和积极效果是：为在复杂应用场景下的列存数据库提供了一种有效解决select*应用模型物化效率低下的方法，提高了列存数据库对于select*类型的查询效率，扩展了列存数据库的适用范围；减小了现有行列混合存储方式占用的空间，同时数据的压缩效率与列存储相差不多。

公开(公告)号：CN104408151B

公开(公告)日：2018-11-27

申请号：CN201410727737.3

申请日：2014-12-03

Applicant: 天津南大通用数据技术股份有限公司

Inventor： 张清伟 ,  鹿明 ,  崔维力 ,  武新

IPC: G06F17/30

Abstract: 本发明旨在提供一种在超大规模列存数据库中有效提升函数查询过滤数据的方法。包括，将列存数据按块存储，对每个数据块(Data Cell)建立基于统计信息的简单索引及基于函数的函数索引。当使用函数进行查询时，基于统计信息的简单索引无法有效过滤数据，而基于函数的函数索引则能有效过滤，提升数据库的整体性能。本发明所取得的有益效果是在超大规模数据量的列存数据库上提高了数据过滤的效率，并可根据用户实际场景灵活扩展。同时不需要用户手动干预，函数索引能自动维护。

公开(公告)号：CN104408151A

公开(公告)日：2015-03-11

申请号：CN201410727737.3

申请日：2014-12-03

Applicant: 天津南大通用数据技术股份有限公司

Inventor： 张清伟 ,  鹿明 ,  崔维力 ,  武新

IPC: G06F17/30

CPC classification number: G06F17/30342

Abstract: 本发明旨在提供一种在超大规模列存数据库中有效提升函数查询过滤数据的方法。包括，将列存数据按块存储，对每个数据块(Data Cell)建立基于统计信息的简单索引及基于函数的函数索引。当使用函数进行查询时，基于统计信息的简单索引无法有效过滤数据，而基于函数的函数索引则能有效过滤，提升数据库的整体性能。本发明所取得的有益效果是在超大规模数据量的列存数据库上提高了数据过滤的效率，并可根据用户实际场景灵活扩展。同时不需要用户手动干预，函数索引能自动维护。

公开(公告)号：CN104376119A

公开(公告)日：2015-02-25

申请号：CN201410729620.9

申请日：2014-12-03

Applicant: 天津南大通用数据技术股份有限公司

Inventor： 刘威 ,  谭忠涛 ,  鹿明 ,  武新 ,  崔维力

IPC: G06F17/30

CPC classification number: G06F17/30315 ,  G06F17/30333

Abstract: 本发明旨在提供一种在超大规模列存数据库中快速定位及访问数据的方法。包括，将列存数据根据特征进行数据块划分，对全部数据块建立多阶特征索引。本发明中数据的特征划分使同类数据相聚合，降低数据块内部离散度，访问更加精准。而高阶索引可以加快数据过滤速度，并有效控制对低阶索引和数据的访问。以上两种方式将大量减少内存与I/O设备间的数据交换，提高数据库运行效率。

公开(公告)号：CN104572893A

公开(公告)日：2015-04-29

申请号：CN201410818000.2

申请日：2014-12-24

Applicant: 天津南大通用数据技术股份有限公司

Inventor： 贺岩 ,  郑黎辉 ,  鹿明 ,  武新 ,  崔维力

IPC: G06F17/30

CPC classification number: G06F17/30339

Abstract: 本发明提供一种数据库中的数据混合存储方法，将采用列存储的原数据库表中的列数据分为列存储数据和行存储数据并存储在同一数据库表中；所述行存储数据的存储结构在内部融合列存储数据的数据存储特征；所述数据库表中的列存储数据是根据运行系统查询特征选择的数据列，用于进行列扫描多关联的条件列等数据查询定位操作。本发明具有的优点和积极效果是：为在复杂应用场景下的列存数据库提供了一种有效解决select*应用模型物化效率低下的方法，提高了列存数据库对于select*类型的查询效率，扩展了列存数据库的适用范围；减小了现有行列混合存储方式占用的空间，同时数据的压缩效率与列存储相差不多。

公开(公告)号：CN104462334A

公开(公告)日：2015-03-25

申请号：CN201410727736.9

申请日：2014-12-03

Applicant: 天津南大通用数据技术股份有限公司

Inventor： 刘威 ,  鹿明 ,  武新 ,  崔维力

IPC: G06F17/30 ,  H03M7/30

CPC classification number: G06F16/215

Abstract: 本发明旨在提供一种在列存储数据库中自适应的智能压缩方法。包括，多种压缩算法构成的复合压缩引擎，对一列中的数据进行抽样分析特征，按照特征缩减压缩引擎中备选算法的范围，通过采样压缩的方式选定压缩算法，以及同一压缩方法的步长控制防止抽样异常造成整列压缩效果不佳。本发明可以在列存数据库中对存储数据进行有效的压缩，通过复合算法引擎适应不同的数据。而数据抽样以及采样可以有效的在相近算法中做出选择，避免了传统复合算法下追求压缩比而造成的过量计算，兼顾压缩速度与压缩比的综合结果。