公开(公告)号：CN102760161A

公开(公告)日：2012-10-31

申请号：CN201210191566.8

申请日：2012-06-12

Applicant: 天津神舟通用数据技术有限公司

Inventor： 徐昶 ,  冯柯 ,  蔡华林 ,  蒋志勇 ,  何清法 ,  周丽霞 ,  顾云苏 ,  曹晖 ,  李阳 ,  饶路

IPC: G06F17/30 ,  G06F11/34

Abstract: 本发明公开了一种按事务聚集的日志组织结构及基于其上的恢复协议，可应用于大型计算机上的事务性数据管理系统。日志文件被顺序组织为若干个日志片，每个日志片存放同一个事务的日志内容，每个日志片保留一份事务号及同事务的前项日志片指针，同个日志片上的日志项所涉及的数据页面号以数组形式存储。系统在运行中，各事务只写自己的日志片，并在事务提交时将日志片写入日志文件。恢复时，通过扫描所有的日志片进行重做，以及回退所有活跃事务的日志片进行回退，使系统恢复到持久的、一致的状态。本发明解决了传统事务性数据管理系统中的写日志并发瓶颈问题，并有效减少了系统日志量。

公开(公告)号：CN102004799A

公开(公告)日：2011-04-06

申请号：CN201010609540.1

申请日：2010-12-28

Applicant: 天津神舟通用数据技术有限公司

Inventor： 徐岩 ,  何清法 ,  蒋志勇 ,  李阳 ,  顾云苏 ,  冯柯 ,  谢卫平 ,  孟勃荣 ,  关刚 ,  车晓瑶

IPC: G06F17/30

Abstract: 本发明涉及一种数据库冗余数据一致性检验方法，包括如下步骤：数据库主服务器接收到用户操作请求后确认相关备份服务器；数据库主服务器将用户操作请求发送至备份服务器列表中的各备份服务器；各备份服务器执行用户操作请求得到操作结果；各备份服务器计算操作结果的语义校验码；各备份服务器将操作结果和相应的语义校验码发送到校验服务器；校验服务器对操作结果和语义校验码后进行校验并将操作结果或错误信息发送给数据库主服务器；数据库主服务器将接收到的操作结果或错误信息转发给用户。本发明克服了物理层检验方法的局限性，能直接针对执行结果进行检验，有效地降低了需要进行检验操作的数据量，也降低小了检验操作的系统资源消耗。

公开(公告)号：CN117435629A

公开(公告)日：2024-01-23

申请号：CN202311733338.3

申请日：2023-12-18

Applicant: 天津神舟通用数据技术有限公司

Inventor： 张昕尧 ,  何清法 ,  李晓鹏 ,  贾宗秀 ,  刘尧 ,  姬涛涛 ,  周丽霞 ,  吴嵩 ,  胡薇

IPC: G06F16/2455 ,  G06F16/2453 ,  G06F16/28

Abstract: 本发明公开一种数据处理方法、装置、设备及介质，包括：将初始数据划分为若干个行组单元，将由各行组单元按列压缩得到的各压缩单元进行存储；行组单元包含初始数据中的多行数据，压缩单元所包含数据通过压缩单元所对应的索引项表示；若压缩单元中的数据需要更新，则将发生更新的各行数据按行存储形式存储到该压缩单元对应的更新数据单元；根据数据查询指令确定待查询的数据列；根据压缩单元对应的索引项确定压缩单元是否可过滤；若存在与压缩单元对应的更新数据单元，根据压缩单元的过滤情况或压缩单元中待查询的数据列是否发生过更新，确定压缩单元对应的更新数据单元是否可过滤；从不可过滤的压缩单元和不可过滤的更新数据单元中查询目标数据。

公开(公告)号：CN102737132A

公开(公告)日：2012-10-17

申请号：CN201210209362.2

申请日：2012-06-25

Applicant: 天津神舟通用数据技术有限公司

Inventor： 曹晖 ,  冯柯 ,  毛云青 ,  何清法 ,  周丽霞 ,  蒋志勇 ,  赵殿奎 ,  关刚 ,  王效忠 ,  李海峰

IPC: G06F17/30

Abstract: 本发明公开了一种基于数据库行列混合存储的多规则复合压缩方法。结合当前软硬件发展趋势以及数据库业界所面临的严重性能瓶颈，提出了将数据库内数据按元组行组织、按属性列压缩的混合存储压缩模式，既具备了列存储高压缩率的特性同时兼具行存储便于随机定位访问的优点。同时针对不同的数据分布特点提出了多种属性列内的规则编码方法，尤其针对数据库单表内各属性列间可能存在的关系提出了列间压缩规则，结合后端的通用压缩算法，能够高效的为上层数据库应用提供多级别的复合压缩功能，并保证在指定压缩率条件下最大化编解码速度。

公开(公告)号：CN102495905A

公开(公告)日：2012-06-13

申请号：CN201110436691.6

申请日：2011-12-23

Applicant: 天津神舟通用数据技术有限公司

Inventor： 关刚 ,  冯柯 ,  刘碧楠 ,  何清法 ,  顾云苏 ,  王嘉春 ,  蒋志勇 ,  李阳 ,  周宇

IPC: G06F17/30

Abstract: 本发明公开一种基于行存数据库引擎的列存方法，包括：行存储数据库，并基于所述行数据库进行如下操作：创建压缩表，并指定相应的压缩级别；将CSV格式的数据文件导入到所创建的压缩表中，其特征在于；压缩表对外表现为一个普通的数据表，可以支持通常的DML/DDL操作；对内实现为一个主HOT数据段及一个从LOB大对象段，其中主HOT段用于存储内部定义的属性行，从LOB段用于存储压缩方法控制结构及压缩后的数据内容；压缩表支持各种查询语句，查询时虽然需要将行中所有字段读入内存，但只解压与查询相关的列数据；所述压缩表支持更新操作，且更新时仅解压代更新的列；所述压缩表支持快速删除，仅做删除标记，当从行中没有记录时，主行会被自动删除；和删除压缩表。本发明通过行存数据库技术，在不改变存储引擎物理结果的前提下，实现了按列压缩存储的技术，并达到了列存数据库高压缩比的效果。

公开(公告)号：CN102054050A

公开(公告)日：2011-05-11

申请号：CN201110033362.7

申请日：2011-01-30

Applicant: 天津神舟通用数据技术有限公司

Inventor： 谢卫平 ,  何清法 ,  顾云苏 ,  冯柯 ,  蒋志勇 ,  周丽霞 ,  尚博 ,  孙鹏 ,  胡秀龙 ,  彭贺

IPC: G06F17/30

Abstract: 本发明涉及一种神通数据库的包机制的实现方法，包括包的创建方法、包的执行方法、包的编译方法和包的删除方法，通过包的创建、包的执行、包的编译和包的删除处理对包的系统表、包管理器和包实例进行管理，从而在神通数据库上实现包机制的功能。本发明实现了神通数据库与基于Oracle开发的应用程序的无缝对接功能，通过将复杂的应用逻辑转化为神通数据库服务器上的包，可以大大减少网络上数据的传输，降低应用开发的工作量，提高了神通数据库的执行效率。

公开(公告)号：CN117131058A

公开(公告)日：2023-11-28

申请号：CN202311369907.0

申请日：2023-10-23

Applicant: 天津神舟通用数据技术有限公司

Inventor： 王金海 ,  何清法 ,  付秋颖 ,  崔伟 ,  刘碧楠 ,  顾云苏 ,  龙启斌 ,  胡薇

IPC: G06F16/22 ,  G06F9/50 ,  G06F16/242

Abstract: 本发明公开一种基于数据分片的并行对比数据库表数据的方法，本发明涉及数据对比领域，设置对应的线程池和两端数据库，所述两端数据库用于储存相关的数据信息；通过线程池采集两端数据库中需要对比的数据信息，生成表对任务；分析表对任务是否需要进行分片处理，根据分析结果对其进行分片处理；将分片处理的数据进行拼接整合，组成新的任务对；将所组成的任务对通过线程池进行查询，根据查询结果组成数据对任务；设置数据对比引擎，将数据对任务通过数据对比引擎进行对比分析，输出对比结果；本发明的有益效果为在一定程度上降低了数据量的粒度，提高了并行度和对比效率。

公开(公告)号：CN102323946B

公开(公告)日：2013-03-27

申请号：CN201110259524.9

申请日：2011-09-05

Applicant: 天津神舟通用数据技术有限公司

Inventor： 李阳 ,  何清法 ,  顾云苏 ,  冯柯 ,  蒋志勇 ,  徐岩 ,  饶路 ,  李晓鹏 ,  刘荣 ,  赵婧

IPC: G06F17/30

Abstract: 一种并行数据库中算子复用的实现方法，包括如下步骤：步骤1、使用普通的查询规划方法为查询生成串行的查询计划，所述查询计划是一个二叉树结构；步骤2、自顶向下扫描执行所述查询计划，寻找可复用的物化类算子，并更改查询计划结构，将线程级物化算子改为全局复用的物化算子；步骤3、对步骤2生成的更改后的查询计划进行并行化处理，生成用于多个线程并行执行的计划森林；步骤4、对步骤3生成的计划森林进行全局复用算子合并处理，生成用于可供多个线程并行执行且可复用物化算子的有向图计划；步骤5、各个线程并行执行所述有向图中的各自的计划部分，第一个执行到全局复用算子的线程称之为主线程，由主线程锁住该全局复用算子并真正执行该算子及其以下的计划，其他线程等待；步骤6、所述主线程执行完该算子之后解锁，其他线程开始从该全局复用算子中读取数据并继续各自的计划树；步骤7、所述主线程等待所有的计划都读取完毕全局复用算子的数据之后释放该算子物化的数据。

公开(公告)号：CN102831146A

公开(公告)日：2012-12-19

申请号：CN201210202879.9

申请日：2012-06-19

Applicant: 天津神舟通用数据技术有限公司

Inventor： 蔡华林 ,  冯柯 ,  徐昶 ,  何清法 ,  周丽霞 ,  蒋志勇 ,  毛云青 ,  赵殿奎 ,  李海峰

IPC: G06F17/30

Abstract: 本发明涉及一种数据库子串过滤索引系统及其构建、查询方法，其技术特点是：该子串过滤索引系统包括将导入数据进行分片数据存储并从每个分片数据中提取出描述分片数据的子串特征构建一个或多个子串特征过滤位图的分片式数据存储模块，以及用于存储以子串特征过滤位图为子串特征索引的过滤索引存储模块，还包括该子串过滤索引系统的构建和查询方法。本发明设计合理，解决了传统索引空间占用大、压缩数据难以索引的的问题，实现了对海量文本数据高效的子串、关键字查询功能，大大减少了对数据的磁盘读写次数，提升了数据库的全表扫描性能。

公开(公告)号：CN102750376A

公开(公告)日：2012-10-24

申请号：CN201210209343.X

申请日：2012-06-25

Applicant: 天津神舟通用数据技术有限公司

Inventor： 毛云青 ,  冯柯 ,  曹晖 ,  何清法 ,  周丽霞 ,  蒋志勇 ,  李海峰 ,  关刚 ,  王效忠 ,  赵殿奎

IPC: G06F17/30

Abstract: 本发明公开一种用于海量存储查询专用数据库的多版本存储引擎系统及其相关处理的实现方法。所述存储引擎系统包括：数据存储模块，用于存储压缩数据包；索引模块，用于存储和处理知识网格索引；数据缓存模块，用于存储插入数据；和修改存储区模块，用于存储事务对数据包的修改记录；其特征在于：将数据分块压缩成数据包存储，将数据的版本信息和修改记录存储在一个修改存储区中。这些模块构成了这个多版本存储引擎的整体框架，在这个框架的基础上本发明设计和实现了一系列查询处理和版本信息处理相关的关键算法，从而实现了多版本控制技术。通过这个多版本存储引擎，本发明使得该数据库支持了多版本操作，显著地提高了数据库系统的并发度，实现了数据库系统性能的极大提升。