-
公开(公告)号:CN105549909A
公开(公告)日:2016-05-04
申请号:CN201510926027.8
申请日:2015-12-12
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F3/06
CPC classification number: G06F3/0619 , G06F3/0674
Abstract: 本发明公开了一种集群序列类一致性信息持久化的优化方法,在对集群序列类一致性信息进行持久化时,按照一定的持久化间隔,选取集群序列类一致性信息中的部分信息值进行持久化,即集群序列类一致性信息的当前持久化信息值设为N,持久化间隔设为extent,则只对信息值为N+n*extent的值进行持久化,n为非负整数。本发明的有益效果在于:对集群序列类一致性信息进行间隔持久化,减少了持久化频数,使得既能应对集群整体失效,又能提高持久化的效率,降低持久化代价。
-
公开(公告)号:CN104516978A
公开(公告)日:2015-04-15
申请号:CN201410851266.7
申请日:2014-12-31
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
CPC classification number: G06F17/30442
Abstract: 本发明提供一种用于数据库入侵检测领域的压缩中间候选频繁项集的算法,包括如下步骤:1)依据目标事务数目值,从事务数据库中筛选出项目数不小于目标事务数目值的事务作为新事务数据库;2)使用Apriori算法的连接步骤和剪枝步骤,扫描新事务数据库,计算产生频繁1-项集L(1);3)找出频繁1-项集L(1)中的数目排在前面的与目标事务数目值相同数值的几项候选项集;4)扫描候选项集,得到目标事务数目值的频繁项集。本发明具有的优点和积极效果是:能免去按照自然数顺序,从1开始,逐个生成中间候选频繁项集和中间频繁项集的操作,大幅提高了数据挖掘搜索效率;达到减少数据库扫描工作量,从而大幅提高了计算频繁项集的速度。
-
公开(公告)号:CN104391918A
公开(公告)日:2015-03-04
申请号:CN201410663305.0
申请日:2014-11-19
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
CPC classification number: G06F17/30575 , G06F17/30474
Abstract: 本发明提供基于对等部署的分布式数据库查询优先级管理的实现方法,包含:对于分布式数据库的每个查询执行节点,按照相同的集群既定的优先级定义将其资源按照一定的比例进行划分;在各个执行节点上建立一致的基于集群优先级的任务队列,每个任务队列可管理一定数目的查询任务,集群为查询任务提供全局唯一的任务ID,查询任务按照任务ID在任务队列中排序;各个执行节点对于任务队列,采用相同的调度模式,高优先级出列的任务会多于低优先级。本发明具有的优点和积极效果是:对不同优先级别对各个执行节点统一按比例划分资源,以确保高优先级查询可获得更多执行资源;只需各个执行节点按照同样的策略部署即可而无需统一的资源管理中心。
-
公开(公告)号:CN104376088A
公开(公告)日:2015-02-25
申请号:CN201410665568.5
申请日:2014-11-19
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
CPC classification number: G06F17/30575 , G06F17/30371
Abstract: 本发明提供一种云数据库的分布式同步方法,包括:在数据库中的每个节点启动数据同步的服务;扫描各个节点的操作日志;将有问题的日志放到恢复队列中;恢复线程会从恢复队列中将问题日志取出,分析数据错误的库名称、表名称、表ID等;寻找相对应表的备份所在的节点;调用同步工具,将正确节点的数据发送到错误节点中;错误节点在接收到同步数据包后,将这些数据保存到自己的硬盘上,从而实现了各个节点间数据的一致性;数据同步的操作完成后,删除有问题的日志。本发明的有益效果是:能及时地发现节点中的错误数据;并且能够自动地进行数据同步的操作,极大地减少了人为操作出错的可能性,增强了云数据库的安全性和可用性。
-
公开(公告)号:CN104375906A
公开(公告)日:2015-02-25
申请号:CN201410664300.X
申请日:2014-11-19
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F11/14
Abstract: 本发明提供了一种基于文件系统的大规模备份数据快速校验方法:包括:备份索引文件;所述备份索引文件包括实际备份数据的文件夹和文件块;所述文件夹包括文件夹的路径;所述文件块包括文件块所在文件的路径、起始偏移、文件块大小和校验值。本发明的有益效果为:以文件块为最小备份单位,无需关注整个文件的校验值;这种备份数据的组织形式,有利于使用多核CPU资源进行并行校验;校验数据时,除校验所有文件块以外,仅需校验文件大小的总和以及文件夹的存在情况,即可确保备份数据严格正确,避免了大规模的归并运算。
-
公开(公告)号:CN106372163B
公开(公告)日:2020-12-04
申请号:CN201610777842.7
申请日:2016-08-31
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 本发明提供了一种适用于分布式数据库的数据分发方法及装置,其中,所述方法包括:存在数据分发任务时,对所述数据按照最小存储单位进行拆分;计算拆分的最小存储单位数据的分布目标,并根据所述分布目标向节点分发数据。通过对所述数据按照最小存储单位进行拆分;计算拆分的数据的分布目标,向所述分布目标分发数据。由于将物化继续推迟,保持整个数据计算过程尽可能的不物化或少物化数据,降低磁盘I/O。直到最后按照分布规则拆分时才将数据进行物化。减少了预算工作量和系统负担。
-
公开(公告)号:CN105574433B
公开(公告)日:2019-04-30
申请号:CN201510928877.1
申请日:2015-12-12
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F21/62
Abstract: 本发明提供了一种推理通道保留对象的确定方法及装置,所述方法包括:统计数据对象的使用频率;根据所述使用频率确定最低频率阈值和最高频率阈值;将数据对象的使用频率分别与最低频率阈值和最高频率阈值进行比较,确定低频对象和高频对象;根据低频对象所在的关联组中的对象确定是否为低频对象添加标记;将无标记的低频对象作为保留对象。能够有效避免数据对象的的阻塞攻击。保证了其它用户对于数据库的正常访问。
-
公开(公告)号:CN105512315B
公开(公告)日:2019-04-30
申请号:CN201510932891.9
申请日:2015-12-12
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F16/27
Abstract: 本发明涉及分布式数据库数据存储领域,尤其涉及一种分布式数据库SQL执行中INNER JOIN的智能评估方法。该方法采用贪心方法、动态规划方法和遗传算法3种评估方法相结合的方式选取INNER JOIN的较优执行顺序,尽可能减少INNER JOIN之后的数据量,保证INNER JOIN的高效率执行。本发明可以由用户指定任一种评估方法,提高系统的灵活性和可扩展性。
-
-
公开(公告)号:CN108363717A
公开(公告)日:2018-08-03
申请号:CN201711473686.6
申请日:2017-12-29
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 一种数据安全级别的识别检测方法及装置,本发明旨在提供一种识别检测数据安全分级的方法。该方法作用的对象为关系型数据库或大数据服务提供者的存储数据,可为单个关系表,单个存储文件或单个数据库判定其安全级别,级别越高则数据泄漏或损坏后造成的损失越大。该方法以数据单元所含敏感数据多少作为最重要特征,结合数据单元的主题,数据量,对大数据服务平台上尽可能多的数据单元做聚类并根据其结果设定安全分级并可对新的数据单元进行安全级别认定。该种分级方法能全面,准确,有效的评估数据安全级别,为普通数据服务和大数据服务平台应该设定哪种级别的数据安全保护提供参考,为评估大数据服务能力提供支持。
-
-
-
-
-
-
-
-
-