-
公开(公告)号:CN102402617A
公开(公告)日:2012-04-04
申请号:CN201110436693.5
申请日:2011-12-23
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F17/30
Abstract: 本发明涉及一种利用分片及稀疏位图的易压缩数据库索引存储系统及其相应的构建、调度和查询处理方法。所述索引存储系统具体包括分片的数据存储结构,以及针对分片数据的稀疏哈希位图索引存储结构,稀疏哈希位图为对需索引数据的概要知识,也可扩充为对分片数据特征的其他概要提取方法。本发明涉及的过滤索引系统和构建、查询处理方法可以实现对海量数据高效的等值查询,大大减少对数据的磁盘读写次数,并且索引空间占用量极小,相对于B+树索引更适用于历史海量数据的查询,且基于此系统及方法能够方便的实现对数据库和索引的压缩存储,并能过滤分片压缩包从而极大减小压缩数据库的解码开销。
-
公开(公告)号:CN102760161A
公开(公告)日:2012-10-31
申请号:CN201210191566.8
申请日:2012-06-12
Applicant: 天津神舟通用数据技术有限公司
Abstract: 本发明公开了一种按事务聚集的日志组织结构及基于其上的恢复协议,可应用于大型计算机上的事务性数据管理系统。日志文件被顺序组织为若干个日志片,每个日志片存放同一个事务的日志内容,每个日志片保留一份事务号及同事务的前项日志片指针,同个日志片上的日志项所涉及的数据页面号以数组形式存储。系统在运行中,各事务只写自己的日志片,并在事务提交时将日志片写入日志文件。恢复时,通过扫描所有的日志片进行重做,以及回退所有活跃事务的日志片进行回退,使系统恢复到持久的、一致的状态。本发明解决了传统事务性数据管理系统中的写日志并发瓶颈问题,并有效减少了系统日志量。
-
公开(公告)号:CN102737132A
公开(公告)日:2012-10-17
申请号:CN201210209362.2
申请日:2012-06-25
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F17/30
Abstract: 本发明公开了一种基于数据库行列混合存储的多规则复合压缩方法。结合当前软硬件发展趋势以及数据库业界所面临的严重性能瓶颈,提出了将数据库内数据按元组行组织、按属性列压缩的混合存储压缩模式,既具备了列存储高压缩率的特性同时兼具行存储便于随机定位访问的优点。同时针对不同的数据分布特点提出了多种属性列内的规则编码方法,尤其针对数据库单表内各属性列间可能存在的关系提出了列间压缩规则,结合后端的通用压缩算法,能够高效的为上层数据库应用提供多级别的复合压缩功能,并保证在指定压缩率条件下最大化编解码速度。
-
公开(公告)号:CN102750376A
公开(公告)日:2012-10-24
申请号:CN201210209343.X
申请日:2012-06-25
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F17/30
Abstract: 本发明公开一种用于海量存储查询专用数据库的多版本存储引擎系统及其相关处理的实现方法。所述存储引擎系统包括:数据存储模块,用于存储压缩数据包;索引模块,用于存储和处理知识网格索引;数据缓存模块,用于存储插入数据;和修改存储区模块,用于存储事务对数据包的修改记录;其特征在于:将数据分块压缩成数据包存储,将数据的版本信息和修改记录存储在一个修改存储区中。这些模块构成了这个多版本存储引擎的整体框架,在这个框架的基础上本发明设计和实现了一系列查询处理和版本信息处理相关的关键算法,从而实现了多版本控制技术。通过这个多版本存储引擎,本发明使得该数据库支持了多版本操作,显著地提高了数据库系统的并发度,实现了数据库系统性能的极大提升。
-
-
-