-
公开(公告)号：CN112099996A
公开(公告)日：2020-12-18
申请号：CN202010993792.2
申请日：2020-09-21
Applicant: 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种基于页面更新序号的数据库集群多节点重做日志恢复方法，包括以下步骤：在页面头部分配空间作为页面更新序号；集群中所有的节点在更新数据页面时，更新页面更新序号和本节点的重做日志；重新启动数据库集群，最先启动的节点成为主节点，由主节点进行实例恢复；主节点从共享磁盘加载控制文件，从控制文件中读取每一个节点的重做日志信息作为扫描句柄，保存在扫描句柄数组中；遍历所有的扫描句柄，恢复重做日志；所有扫描句柄已经扫描完毕，重做日志恢复结束。本发明在新增重做日志和在实例恢复时，利用页面更新序号判断页面是否连续，将相同页面在不同节点之间的修改按序恢复，保证数据的一致性，提高了系统运行的可靠性。
-
公开(公告)号：CN110533112A
公开(公告)日：2019-12-03
申请号：CN201910830182.8
申请日：2019-09-04
Applicant: 天津神舟通用数据技术有限公司
IPC: G06K9/62
Abstract: 本发明涉及一种车联网大数据跨域分析融合方法，其主要技术特点是：建立车联网云数据挖掘架构，该车联网云数据挖掘架构包括分布式数据访问引擎、并行挖掘引擎及代理节点和Web服务器集群；采用车联网数据挖掘算法进行数据挖掘；采用共享内存并行计算技术实现共享内存的并行功能。本发明采用由分布式数据访问引擎、并行挖掘引擎、Web服务器集群及代理节点构成的可支持并行计算的云数据挖掘架构，提高了面向海量数据的支撑能力；通过数据预处理技术、不确定数据预处理技术车联网行业数据处理与融合技术，优化流数据等车联网特有数据的支持；基于车联网流数据的挖掘、分析、聚类技术、行为识别、异常检测等新型数据挖掘算法，提升系统的智能化水平。
-
公开(公告)号：CN110222035A
公开(公告)日：2019-09-10
申请号：CN201910495162.X
申请日：2019-06-10
Applicant: 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种基于异或校验与日志恢复的数据库页面高效容错方法,包括以下步骤：计算数据页面对应的校验码并保存在数据页面的头部中；从存储介质中读取数据页面到内存中时，通过校验码判断数据页面是否损坏；在启动数据库进行实例恢复的过程中，则将数据损坏页面跳过以使数据库正常启动，启动后提醒用户在哪个数据库对象中出现了数据页面损坏；启动数据库成功之后，确定哪个表出现了页面损坏问题，用户通过专门的SQL来对该表的损坏页面进行处理。本发明设计合理，其在数据页面内存储数据页面的异或运算校验码用于实时检测页面是否出现损坏，可成功恢复已损坏的数据，减少用户的数据损失。
-
公开(公告)号：CN105335479B
公开(公告)日：2018-11-23
申请号：CN201510657159.5
申请日：2015-10-12
Applicant: 国家计算机网络与信息安全管理中心 , 天津神舟通用数据技术有限公司
IPC: G06F17/30
Abstract: 本发明涉及一种基于SQL的文本数据统计实现方法，其技术特点是：对输入SQL语法进行解析；在结构化数据仓库中建立和子查询投影结构一致的临时表；识别全文索引引擎数据分布规则；将基于SQL的简单子查询翻译为全文索引引擎语法，并在全文索引引擎中执行；获取全文索引查询结果并将结果导入到结构化数据仓库引擎临时表中；完成查询结果导入过程，向数据仓库下发重写后的基于临时表SQL查询语句，并向客户端返回查询结果。本发明结合全文索引引擎和结构化数据仓库引擎的特点，实现对海量文本数据的基于通用SQL语言的统计分析方法，解决了传统方法统计功能薄弱和结构化数据仓库无法支持高效文本检索的问题，大大提高了文本数据统计分析的易用性。
-
公开(公告)号：CN108536808A
公开(公告)日：2018-09-14
申请号：CN201810296682.3
申请日：2018-04-04
Applicant: 国家计算机网络与信息安全管理中心 , 天津神舟通用数据技术有限公司
IPC: G06F17/30
Abstract: 本发明公开了一种基于Spark计算框架的数据获取方法和装置。该方法包括：在接收到表对象访问请求之后，获取Spark的计算资源信息以及MPP集群中待访问的数据表的数据分布信息；根据计算资源信息和数据分布信息，生成多个Partition；其中，每个Partition对应数据表中的部分数据；通过生成的多个Partition，从MPP集群中获取数据表。本发明充分利用MPP集群的数据存储特性，通过多个Partition，直接从MPP的存储节点快速获取数据集。进一步地，在计算资源充足的情况下，可以对存储节点的数据表进行进一步的拆分，以达到提高并行度，提升数据导入性能的目的。可以根据MPP集群的数据分布情况，优先从本地存储中获取数据，减少数据传输开销、节约网络带宽、减少网络延迟、提高计算性能。
-
Patent Agency Ranking
公开(公告)号：CN105302667B
公开(公告)日：2018-05-04
申请号：CN201510657187.7
申请日：2015-10-12
Applicant: 国家计算机网络与信息安全管理中心 , 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种基于集群架构的高可靠性数据备份与恢复方法，其技术特点是：包括在线数据备份与恢复方法和历史数据备份与恢复方法，所述在线数据备份与恢复方法包括：创建表空间并按时间划分范围分区表；在向数据库导入数据的过程中实现一个备份功能；将备份信息写入系统表；当天数据变成历史数据时将其按历史数据备份方式完成备份；当发生磁盘故障时，重新装载数据，实现在线数据的恢复。本发明对两类数据采用了不同的备份恢复方法，使得在发生介质故障时，提高了单数据库节点的高可用性、高可靠性，有效地解决了一般集群双机热备方案中无法有效恢复节点数据、互备节点同时发生介质故障时的数据丢失等问题。
-
公开(公告)号：CN105373583A
公开(公告)日：2016-03-02
申请号：CN201510657157.6
申请日：2015-10-12
Applicant: 国家计算机网络与信息安全管理中心 , 天津神舟通用数据技术有限公司
CPC classification number: G06F16/2462 , G06K9/6269
Abstract: 本发明涉及一种基于数据压缩的支撑向量机建模方法，其技术特点是包括：采用等距抽样方法对建模数据进行抽样；对建模数据进行压缩；对聚类特征树的叶子节点下的每一簇数据，计算其边界，取最有可能成为支撑向量的边界点作为支撑向量机的建模数据；建立支撑向量机模型：根据建模数据利用支撑向量机方法，建立支撑向量机模型。本发明采用预抽样策略、数据压缩技术、增量抽样策略等，在尽量不降低算法准确率的情况下，大幅降低支撑向量机建模样本数，从而大幅提高支撑向量机建模速度，降低内存消耗，从而使得支撑向量机技术能够在大数据分析场景中应用，弥补大数据分析中神经网络、贝叶斯等方法预测准确率较低的缺陷。
-
公开(公告)号：CN105302667A
公开(公告)日：2016-02-03
申请号：CN201510657187.7
申请日：2015-10-12
Applicant: 国家计算机网络与信息安全管理中心 , 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种基于集群架构的高可靠性数据备份与恢复方法，其技术特点是：包括在线数据备份与恢复方法和历史数据备份与恢复方法，所述在线数据备份与恢复方法包括：创建表空间并按时间划分范围分区表；在向数据库导入数据的过程中实现一个备份功能；将备份信息写入系统表；当天数据变成历史数据时将其按历史数据备份方式完成备份；当发生磁盘故障时，重新装载数据，实现在线数据的恢复。本发明对两类数据采用了不同的备份恢复方法，使得在发生介质故障时，提高了单数据库节点的高可用性、高可靠性，有效地解决了一般集群双机热备方案中无法有效恢复节点数据、互备节点同时发生介质故障时的数据丢失等问题。
-
公开(公告)号：CN102750368B
公开(公告)日：2014-03-26
申请号：CN201210200158.4
申请日：2012-06-18
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F17/30
Abstract: 本发明涉及一种数据库集群数据高速导入方法，其技术特点是：包括以下步骤：步骤1：数据导入驱动组件与数据库集群的交互模块建立连接并获取各个数据库节点连接信息；步骤2：数据导入驱动组件通过步骤1建立的数据库集群连接获取目标表的模式信息及分片存储信息并与相关数据库节点建立连接；步骤3：数据导入驱动组件向相关数据库节点进行数据导入，交互控制模块接收数据导入结果，并更新目标表的相关统计信息。本发明的数据导入驱动组件，解放了控制节点，实现在尽可能少受数据库集群干预的情况下完成数据的导入；同时，采用独立数据导入的方式，可以方便的通过增加客户端来实现并行导入，提升导入性能，从而满足企业对数据高速导入的要求。
-
公开(公告)号：CN102750368A
公开(公告)日：2012-10-24
申请号：CN201210200158.4
申请日：2012-06-18
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F17/30
Abstract: 本发明涉及一种数据库集群数据高速导入方法，其技术特点是：包括以下步骤：步骤1：数据导入驱动组件与数据库集群的交互模块建立连接并获取各个数据库节点连接信息；步骤2：数据导入驱动组件通过步骤1建立的数据库集群连接获取目标表的模式信息及分片存储信息并与相关数据库节点建立连接；步骤3：数据导入驱动组件向相关数据库节点进行数据导入，交互控制模块接收数据导入结果，并更新目标表的相关统计信息。本发明的数据导入驱动组件，解放了控制节点，实现在尽可能少受数据库集群干预的情况下完成数据的导入；同时，采用独立数据导入的方式，可以方便的通过增加客户端来实现并行导入，提升导入性能，从而满足企业对数据高速导入的要求。
-
-
-
-
-
-
-
-
-
Search Results
40
records
(took 0.057 seconds)
