-
公开(公告)号:CN105302667B
公开(公告)日:2018-05-04
申请号:CN201510657187.7
申请日:2015-10-12
Applicant: 国家计算机网络与信息安全管理中心 , 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种基于集群架构的高可靠性数据备份与恢复方法,其技术特点是:包括在线数据备份与恢复方法和历史数据备份与恢复方法,所述在线数据备份与恢复方法包括:创建表空间并按时间划分范围分区表;在向数据库导入数据的过程中实现一个备份功能;将备份信息写入系统表;当天数据变成历史数据时将其按历史数据备份方式完成备份;当发生磁盘故障时,重新装载数据,实现在线数据的恢复。本发明对两类数据采用了不同的备份恢复方法,使得在发生介质故障时,提高了单数据库节点的高可用性、高可靠性,有效地解决了一般集群双机热备方案中无法有效恢复节点数据、互备节点同时发生介质故障时的数据丢失等问题。
-
公开(公告)号:CN105373583A
公开(公告)日:2016-03-02
申请号:CN201510657157.6
申请日:2015-10-12
Applicant: 国家计算机网络与信息安全管理中心 , 天津神舟通用数据技术有限公司
CPC classification number: G06F16/2462 , G06K9/6269
Abstract: 本发明涉及一种基于数据压缩的支撑向量机建模方法,其技术特点是包括:采用等距抽样方法对建模数据进行抽样;对建模数据进行压缩;对聚类特征树的叶子节点下的每一簇数据,计算其边界,取最有可能成为支撑向量的边界点作为支撑向量机的建模数据;建立支撑向量机模型:根据建模数据利用支撑向量机方法,建立支撑向量机模型。本发明采用预抽样策略、数据压缩技术、增量抽样策略等,在尽量不降低算法准确率的情况下,大幅降低支撑向量机建模样本数,从而大幅提高支撑向量机建模速度,降低内存消耗,从而使得支撑向量机技术能够在大数据分析场景中应用,弥补大数据分析中神经网络、贝叶斯等方法预测准确率较低的缺陷。
-
公开(公告)号:CN105302667A
公开(公告)日:2016-02-03
申请号:CN201510657187.7
申请日:2015-10-12
Applicant: 国家计算机网络与信息安全管理中心 , 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种基于集群架构的高可靠性数据备份与恢复方法,其技术特点是:包括在线数据备份与恢复方法和历史数据备份与恢复方法,所述在线数据备份与恢复方法包括:创建表空间并按时间划分范围分区表;在向数据库导入数据的过程中实现一个备份功能;将备份信息写入系统表;当天数据变成历史数据时将其按历史数据备份方式完成备份;当发生磁盘故障时,重新装载数据,实现在线数据的恢复。本发明对两类数据采用了不同的备份恢复方法,使得在发生介质故障时,提高了单数据库节点的高可用性、高可靠性,有效地解决了一般集群双机热备方案中无法有效恢复节点数据、互备节点同时发生介质故障时的数据丢失等问题。
-
公开(公告)号:CN116737803A
公开(公告)日:2023-09-12
申请号:CN202311004734.2
申请日:2023-08-10
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/2458 , G06F3/0486 , G06F9/50 , G06F16/26
Abstract: 本发明提供了一种基于有向无环图的可视化数据挖掘编排方法。用户可以从预设的数据处理组件库中拖拽一个或多个组件到画布中,并建立连线关系形成有向无环图,并显示在界面上。用户设置组件的参数信息后,这些参数会自动加载到有向无环图中。流程编排完成后,生成数据传递到后台进行处理。在流程运行过程中,提供状态监控和日志查看功能。同时,有向无环图还具备版本管理的能力。本发明通过结合前端可视化技术和有向无环图的形式,解决了传统数据挖掘工具复杂、门槛高以及使用成本不断增加的问题。
-
公开(公告)号:CN116662373A
公开(公告)日:2023-08-29
申请号:CN202310926727.1
申请日:2023-07-27
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/242 , G06F8/41
Abstract: 本申请公开了一种数据访问控制方法、装置、设备及介质,数据访问控制方法包括:获取用于表征数据访问请求的初始SQL语句,对所述初始SQL语句进行解析,生成AST语法树;根据所述AST语法树确定所述初始SQL语句对应的数据访问请求方的访问规则,生成包含所述访问规则的目标SQL语句;执行所述目标SQL语句,以控制所述数据访问请求方按照所述访问规则进行数据访问操作;或使数据源执行所述目标SQL语句,以控制所述数据访问请求方按照所述访问规则进行数据访问操作。
-
公开(公告)号:CN115630065B
公开(公告)日:2023-08-22
申请号:CN202211272183.3
申请日:2022-10-18
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/22 , G06F16/2453 , G06F3/06
Abstract: 本发明提出一种基于多压缩模式子分区表的存储和查询方法,包括:步骤S1、接收一系列按照预定格式流传输的块数据;步骤S2、基于预定格式进行解析,获取所述块数据中的数据组成;步骤S3、分析数据组成的不同部分,对应的采用不同压缩模式对数据块进行压缩;步骤S4、基于所采用的压缩模式,在第一查找表中匹配对应的分区号段,在压缩数据中单独设置的索引分区类型字段,将所述匹配到的索引分区号段作为附加数据;步骤S5、基于所述的分区号标志,存储到对应的子分区表中,并记录对应数据的索引和压缩模式字段;步骤S6、在数据存储过程中,对不同的子分区表,分配不同大小的连续空间进行存储;步骤S7、用户基于数据压缩模式或数据格式类型,在对应的索引存储表中进行检索。
-
公开(公告)号:CN112099996B
公开(公告)日:2022-04-05
申请号:CN202010993792.2
申请日:2020-09-21
Applicant: 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种基于页面更新序号的数据库集群多节点重做日志恢复方法,包括以下步骤:在页面头部分配空间作为页面更新序号;集群中所有的节点在更新数据页面时,更新页面更新序号和本节点的重做日志;重新启动数据库集群,最先启动的节点成为主节点,由主节点进行实例恢复;主节点从共享磁盘加载控制文件,从控制文件中读取每一个节点的重做日志信息作为扫描句柄,保存在扫描句柄数组中;遍历所有的扫描句柄,恢复重做日志;所有扫描句柄已经扫描完毕,重做日志恢复结束。本发明在新增重做日志和在实例恢复时,利用页面更新序号判断页面是否连续,将相同页面在不同节点之间的修改按序恢复,保证数据的一致性,提高了系统运行的可靠性。
-
公开(公告)号:CN110209701A
公开(公告)日:2019-09-06
申请号:CN201910495179.5
申请日:2019-06-10
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/2455 , G06F16/23
Abstract: 本发明涉及一种基于内存多级缓存的数据快速分页查询访问的方法,包括以下步骤:在数据库启动时,创建一张哈希表作为全局缓存结构;在事务开始时,创建一张哈希表作为该事务的局部缓存结构;在事务进行的过程中,完成表更新操作;当一个事务发起表的总行数查询时,以OID为键在全局缓存结构中查找表的总行数,以OID为键在事务局部缓存结构中查找当前事务影响该表的变化行数,两个数值相加作为此次查询表的总行数;在事务提交时,数据库系统将更新过的当前事务局部缓存结构中各个表的变化行数累加到全局缓存结构中相应表的总行数上。本发明设计合理,大大减少并发冲突,同时最大限度减少了内存中表的总行数的维护对表的更新性能产生的影响。
-
公开(公告)号:CN102752372A
公开(公告)日:2012-10-24
申请号:CN201210199980.3
申请日:2012-06-18
Applicant: 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种基于文件的数据库同步方法,其主要技术特点是:采用在源端数据库安装数据同步工具组件,并且在目标端数据库安装ETL服务组件,ETL服务组件与数据同步工具组件之间通过协议控制并以文件方式从源端数据库向目标端数据库进行同步。本发明设计合理,以文件方式快速地从源端数据库向目标端数据库进行数据库同步,能高效地保存所要同步的数据库数据,并且在异构数据库和操作系统环境中,均能解析文件进行数据的同步操作,从而支持向多种异构数据库进行同步的特性,同时,采用全量同步和增量同步方法,提高了数据库同步效率。
-
公开(公告)号:CN116737803B
公开(公告)日:2023-11-17
申请号:CN202311004734.2
申请日:2023-08-10
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/2458 , G06F3/0486 , G06F9/50 , G06F16/26
Abstract: 本发明提供了一种基于有向无环图的可视化数据挖掘编排方法。用户可以从预设的数据处理组件库中拖拽一个或多个组件到画布中,并建立连线关系形成有向无环图,并显示在界面上。用户设置组件的参数信息后,这些参数会自动加载到有向无环图中。流程编排完成后,生成数据传递到后台进行处理。在流程运行过程中,提供状态监控和日志查看功能。同时,有向无环图还具备版本管理的能力。本发明通过结合前端可视化技术和有向无环图的形式,解决了传统数据挖掘工具复杂、门槛高以及使用成本不断增加的问题。
-
-
-
-
-
-
-
-
-