一种支持多hashmap数据库集群系统不停机的扩容方法

    公开(公告)号:CN104484469A

    公开(公告)日:2015-04-01

    申请号:CN201410847870.2

    申请日:2014-12-31

    CPC classification number: G06F17/303 G06F17/3033

    Abstract: 本发明创造提供一种支持多hash map数据库集群系统不停机的扩容方法,包括以下步骤:S1.集群中的原表都绑定到现有的hash map上,现有的hash map命名为old hash map;S2.进行集群扩容时,执行产生新hash map的命令,集群产生新的hash map,并把该hash map设定为current hash map;S3.集群扩容后新创建的表自动绑定到current hash map上;S4.对原表和新表的任何操作将以current hash map为当前操作的hash map,基于old hash map的老表的原有的hash特性将丢失,需要按照current hash map进行数据动态重分布后参与和新表的运算。S5.迁移部分数据到新节点上,迁移完成后该表即可绑定到current hash map上。这种设计性能不衰减,数据过渡自然。

    一种列存数据库的数据压缩方法及装置

    公开(公告)号:CN104462334A

    公开(公告)日:2015-03-25

    申请号:CN201410727736.9

    申请日:2014-12-03

    CPC classification number: G06F16/215

    Abstract: 本发明旨在提供一种在列存储数据库中自适应的智能压缩方法。包括,多种压缩算法构成的复合压缩引擎,对一列中的数据进行抽样分析特征,按照特征缩减压缩引擎中备选算法的范围,通过采样压缩的方式选定压缩算法,以及同一压缩方法的步长控制防止抽样异常造成整列压缩效果不佳。本发明可以在列存数据库中对存储数据进行有效的压缩,通过复合算法引擎适应不同的数据。而数据抽样以及采样可以有效的在相近算法中做出选择,避免了传统复合算法下追求压缩比而造成的过量计算,兼顾压缩速度与压缩比的综合结果。

    一种数据安全级别的识别检测方法及装置

    公开(公告)号:CN108363717B

    公开(公告)日:2021-03-12

    申请号:CN201711473686.6

    申请日:2017-12-29

    Abstract: 一种数据安全级别的识别检测方法及装置,本发明旨在提供一种识别检测数据安全分级的方法。该方法作用的对象为关系型数据库或大数据服务提供者的存储数据,可为单个关系表,单个存储文件或单个数据库判定其安全级别,级别越高则数据泄漏或损坏后造成的损失越大。该方法以数据单元所含敏感数据多少作为最重要特征,结合数据单元的主题,数据量,对大数据服务平台上尽可能多的数据单元做聚类并根据其结果设定安全分级并可对新的数据单元进行安全级别认定。该种分级方法能全面,准确,有效的评估数据安全级别,为普通数据服务和大数据服务平台应该设定哪种级别的数据安全保护提供参考,为评估大数据服务能力提供支持。

    一种数据库集群节点间数据同步的方法及装置

    公开(公告)号:CN106354830B

    公开(公告)日:2020-12-04

    申请号:CN201610777767.4

    申请日:2016-08-31

    Inventor: 崔维力 武新 张灵

    Abstract: 本发明提供了一种数据库集群节点间数据同步的方法及装置,其中,所述方法包括:从元数据服务器获取需要同步的表的信息;检查锁队列,确认是否包括删除所述表的锁;如果所述锁队列中不包括所述表的删除信息,则进行数据同步。可以在对表进行修改之前将表删除,减少数据交换同步,避免浪费时间和系统资源。高效的完成数据库同步。

    基于LDAPV3扩展操作的目录条目批量增删操作实现方法

    公开(公告)号:CN105574125B

    公开(公告)日:2019-04-30

    申请号:CN201510932780.8

    申请日:2015-12-12

    Abstract: 本发明提供一种基于LDAPV3扩展操作的目录条目批量增删操作实现方法,在目录客户方的LDAPV3扩展请求中,将若干待操作的目录条目内容按照一定的格式要求填入到扩展请求的附加数据,一次性地发送给目录服务方来解析与操作,从而实现更复杂的目录条目的批量操作,目录服务方将批量操作的运行结果按照一定的格式要求返回给目录客户方。本发明使目录服务方通过扩展操作支持了LDAPV3标准中所不具有的目录条目的批量操作,填补了目录批量操作的功能空白,同时使用该操作可降低原客户方程序为实现若干条目同时增删的API调用的复杂度,大量减少原客户方与服务方请求和反馈等交互的多次网络花费,从而提升了目录的增删性能。

    一种集群序列类一致性信息持久化的优化方法

    公开(公告)号:CN105549909B

    公开(公告)日:2019-03-12

    申请号:CN201510926027.8

    申请日:2015-12-12

    Abstract: 本发明公开了一种集群序列类一致性信息持久化的优化方法,在对集群序列类一致性信息进行持久化时,按照一定的持久化间隔,选取集群序列类一致性信息中的部分信息值进行持久化,即集群序列类一致性信息的当前持久化信息值设为N,持久化间隔设为extent,则只对信息值为N+n*extent的值进行持久化,n为非负整数。本发明的有益效果在于:对集群序列类一致性信息进行间隔持久化,减少了持久化频数,使得既能应对集群整体失效,又能提高持久化的效率,降低持久化代价。

    一种基于多属性聚类的数据融合方法及装置

    公开(公告)号:CN108564101A

    公开(公告)日:2018-09-21

    申请号:CN201711473666.9

    申请日:2017-12-29

    Abstract: 本发明提供一种基于多属性聚类的数据融合方法,旨在提高发现真值的准确度,为用户的决策提供更好的辅助信息。包括,数据预处理,描述值准确度更新,属性准确度更新和属性聚类模块。采用本发明的方法,可以在融合异源异构数据时,从来自不同数据源、具有不同结构的数据中甄别质量高的数据源、挖掘最实时准确的信息,有效解决传统方法中的准确性不够、迭代次数过多、收敛结果不稳定等问题。

    一种自然语言处理方法及装置

    公开(公告)号:CN108345633A

    公开(公告)日:2018-07-31

    申请号:CN201711473689.X

    申请日:2017-12-29

    Abstract: 本发明旨在提供一种通过使用卷积神经网络的意识流来分析人格特质的自然语言处理方法。该方法针对五种人格特质使用相同的架构来分别训练相应的卷积神经网络,每个卷积神经网络是一个二进制分类器,该分类器可以预测相应的特征为正值或负值,对应着是否拥有该人格特质。将单词组成n元特征向量,再将其整合成句子,再将句子聚合成一个完整的文档,获得的值随后与文档级别的语义特征结合,并在最后分类阶段形成文档表示。本发明通过对自然语言的处理及分析从而实现一个人个性特点的自动检测。

    基于对等部署的分布式数据库查询优先级管理的实现方法

    公开(公告)号:CN104391918B

    公开(公告)日:2018-01-19

    申请号:CN201410663305.0

    申请日:2014-11-19

    Abstract: 本发明提供基于对等部署的分布式数据库查询优先级管理的实现方法,包含:对于分布式数据库的每个查询执行节点,按照相同的集群既定的优先级定义将其资源按照一定的比例进行划分;在各个执行节点上建立一致的基于集群优先级的任务队列,每个任务队列可管理一定数目的查询任务,集群为查询任务提供全局唯一的任务ID,查询任务按照任务ID在任务队列中排序;各个执行节点对于任务队列,采用相同的调度模式,高优先级出列的任务会多于低优先级。本发明具有的优点和积极效果是:对不同优先级别对各个执行节点统一按比例划分资源,以确保高优先级查询可获得更多执行资源;只需各个执行节点按照同样的策略部署即可而无需统一的资源管理中心。

    一种采用交叉备份的分布式数据库负载均衡的计算方法

    公开(公告)号:CN104376087B

    公开(公告)日:2017-09-29

    申请号:CN201410665567.0

    申请日:2014-11-19

    Abstract: 本发明涉及一种采用交叉备份的分布式数据库负载均衡的计算方法,包括:初始集群无机器损坏时保证集群中各个机器负载均衡;有1台机器损坏后,对请求分发机制适当调整保证集群内各个机器负载均衡;有多台机器损坏后,若所有数据分片均保证有大于1台可用机器时,对请求分发机器做适当的调整,最大限度的保证集群内各个机器负载均衡。本发明可以从宏观的角度,从概率的角度,粗粒度的保证采用交叉备份的分布式数据库的负载均衡,特别是当有机器损坏时,保证可工作机器合理的均摊负载压力,避免了某些机器负载过高导致短时间内更多机器损坏的情况,避免了短板问题的出现。

Patent Agency Ranking