-
公开(公告)号:CN102968496B
公开(公告)日:2016-04-27
申请号:CN201210510033.1
申请日:2012-12-04
Applicant: 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种基于任务驱动和双缓冲机制的并行排序方法,其主要技术特点是:包括步骤1:分块内存排序步骤:将外存文件划分成一定大小的微小桶并读入内存,每读入一个微小桶就对其进行快速排序,当没有更多内存可用或者没有更多数据时,对所有微小桶进行内存归并,然后写出到外存中,形成一个有序的桶;步骤2:外存归并步骤:对外存中的桶进行归并,并将归并结果输出到最终有序的文件中,生成有序的排序结果。本发明通过任务驱动多线程工作并利用双缓冲技术提高内部排序的性能,简化了并发控制的机制,加快了处理速度,增加了大数据量排序算法的可扩展性。
-
公开(公告)号:CN106342312B
公开(公告)日:2013-11-27
申请号:CN201010048676.X
申请日:2010-06-10
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F17/30
Abstract: 一种对数据库系统进行数据物理隔离的方法,首先在数据库系统上创建隔离区,隔离区包括隔离区数据文件以及隔离区数据字典;然后由数据库系统自动分配或由用户指定当前唯一的用于区分同名数据的命名空间;随后对当前数据操作请求进行判断,根据当前数据操作请求进行数据处理;处理完毕后将隔离区设为不再接受任何新事务的状态,同时回滚隔离区内所有未提交事务,将隔离区内所有已提交事务的数据更新写入到隔离区数据文件中;最后以无效数据擦写方式删除内存缓冲区中隔离区的全部数据和隔离区的数据字典,同时回收隔离区的命名空间。本发明方法安全性高、占用系统资源量少,提高了系统整体的可用性。
-
公开(公告)号:CN102063502B
公开(公告)日:2013-07-31
申请号:CN201110001385.X
申请日:2011-01-06
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F17/30
Abstract: 一种实现异构数据库数据同步的方法,其中异种数据库包括数据库A和数据库B,数据库A是用户应用所使用的数据库,数据库访问接口使用JDBC接口,数据库B是进行数据同步的目的数据库;还包括符合SUN规范的JDBC驱动AB,所述驱动AB包含A的JDBC驱动包和B的JDBC驱动包;对驱动AB上的函数调用都被原样传递给数据库A的JDBC驱动,而对数据库有更改的函数调用,则经过sql语法映射转换后,再传递给数据库B的JDBC驱动。
-
公开(公告)号:CN102004799A
公开(公告)日:2011-04-06
申请号:CN201010609540.1
申请日:2010-12-28
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F17/30
Abstract: 本发明涉及一种数据库冗余数据一致性检验方法,包括如下步骤:数据库主服务器接收到用户操作请求后确认相关备份服务器;数据库主服务器将用户操作请求发送至备份服务器列表中的各备份服务器;各备份服务器执行用户操作请求得到操作结果;各备份服务器计算操作结果的语义校验码;各备份服务器将操作结果和相应的语义校验码发送到校验服务器;校验服务器对操作结果和语义校验码后进行校验并将操作结果或错误信息发送给数据库主服务器;数据库主服务器将接收到的操作结果或错误信息转发给用户。本发明克服了物理层检验方法的局限性,能直接针对执行结果进行检验,有效地降低了需要进行检验操作的数据量,也降低小了检验操作的系统资源消耗。
-
公开(公告)号:CN102004799B
公开(公告)日:2012-10-03
申请号:CN201010609540.1
申请日:2010-12-28
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F17/30
Abstract: 本发明涉及一种数据库冗余数据一致性检验方法,包括如下步骤:数据库主服务器接收到用户操作请求后确认相关备份服务器;数据库主服务器将用户操作请求发送至备份服务器列表中的各备份服务器;各备份服务器执行用户操作请求得到操作结果;各备份服务器计算操作结果的语义校验码;各备份服务器将操作结果和相应的语义校验码发送到校验服务器;校验服务器对操作结果和语义校验码后进行校验并将操作结果或错误信息发送给数据库主服务器;数据库主服务器将接收到的操作结果或错误信息转发给用户。本发明克服了物理层检验方法的局限性,能直接针对执行结果进行检验,有效地降低了需要进行检验操作的数据量,也降低小了检验操作的系统资源消耗。
-
公开(公告)号:CN102063502A
公开(公告)日:2011-05-18
申请号:CN201110001385.X
申请日:2011-01-06
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F17/30
Abstract: 一种实现异构数据库数据同步的方法,其中异种数据库包括数据库A和数据库B,数据库A是用户应用所使用的数据库,数据库访问接口使用JDBC接口,数据库B是进行数据同步的目的数据库;还包括符合SUN规范的JDBC驱动AB,所述驱动AB包含A的JDBC驱动包和B的JDBC驱动包;对驱动AB上的函数调用都被原样传递给数据库A的JDBC驱动,而对数据库有更改的函数调用,则经过sql语法映射转换后,再传递给数据库B的JDBC驱动。
-
公开(公告)号:CN102750368B
公开(公告)日:2014-03-26
申请号:CN201210200158.4
申请日:2012-06-18
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F17/30
Abstract: 本发明涉及一种数据库集群数据高速导入方法,其技术特点是:包括以下步骤:步骤1:数据导入驱动组件与数据库集群的交互模块建立连接并获取各个数据库节点连接信息;步骤2:数据导入驱动组件通过步骤1建立的数据库集群连接获取目标表的模式信息及分片存储信息并与相关数据库节点建立连接;步骤3:数据导入驱动组件向相关数据库节点进行数据导入,交互控制模块接收数据导入结果,并更新目标表的相关统计信息。本发明的数据导入驱动组件,解放了控制节点,实现在尽可能少受数据库集群干预的情况下完成数据的导入;同时,采用独立数据导入的方式,可以方便的通过增加客户端来实现并行导入,提升导入性能,从而满足企业对数据高速导入的要求。
-
公开(公告)号:CN102968496A
公开(公告)日:2013-03-13
申请号:CN201210510033.1
申请日:2012-12-04
Applicant: 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种基于任务驱动和双缓冲机制的并行排序方法,其主要技术特点是:包括步骤1:分块内存排序步骤:将外存文件划分成一定大小的微小桶并读入内存,每读入一个微小桶就对其进行快速排序,当没有更多内存可用或者没有更多数据时,对所有微小桶进行内存归并,然后写出到外存中,形成一个有序的桶;步骤2:外存归并步骤:对外存中的桶进行归并,并将归并结果输出到最终有序的文件中,生成有序的排序结果。本发明通过任务驱动多线程工作并利用双缓冲技术提高内部排序的性能,简化了并发控制的机制,加快了处理速度,增加了大数据量排序算法的可扩展性。
-
公开(公告)号:CN102750376A
公开(公告)日:2012-10-24
申请号:CN201210209343.X
申请日:2012-06-25
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F17/30
Abstract: 本发明公开一种用于海量存储查询专用数据库的多版本存储引擎系统及其相关处理的实现方法。所述存储引擎系统包括:数据存储模块,用于存储压缩数据包;索引模块,用于存储和处理知识网格索引;数据缓存模块,用于存储插入数据;和修改存储区模块,用于存储事务对数据包的修改记录;其特征在于:将数据分块压缩成数据包存储,将数据的版本信息和修改记录存储在一个修改存储区中。这些模块构成了这个多版本存储引擎的整体框架,在这个框架的基础上本发明设计和实现了一系列查询处理和版本信息处理相关的关键算法,从而实现了多版本控制技术。通过这个多版本存储引擎,本发明使得该数据库支持了多版本操作,显著地提高了数据库系统的并发度,实现了数据库系统性能的极大提升。
-
公开(公告)号:CN102750368A
公开(公告)日:2012-10-24
申请号:CN201210200158.4
申请日:2012-06-18
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F17/30
Abstract: 本发明涉及一种数据库集群数据高速导入方法,其技术特点是:包括以下步骤:步骤1:数据导入驱动组件与数据库集群的交互模块建立连接并获取各个数据库节点连接信息;步骤2:数据导入驱动组件通过步骤1建立的数据库集群连接获取目标表的模式信息及分片存储信息并与相关数据库节点建立连接;步骤3:数据导入驱动组件向相关数据库节点进行数据导入,交互控制模块接收数据导入结果,并更新目标表的相关统计信息。本发明的数据导入驱动组件,解放了控制节点,实现在尽可能少受数据库集群干预的情况下完成数据的导入;同时,采用独立数据导入的方式,可以方便的通过增加客户端来实现并行导入,提升导入性能,从而满足企业对数据高速导入的要求。
-
-
-
-
-
-
-
-
-