-
公开(公告)号:CN105528558B
公开(公告)日:2019-03-08
申请号:CN201510928878.6
申请日:2015-12-12
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F21/62
Abstract: 本发明公开了一种隐蔽信道通信的检测方法及装置。所述方法包括确定可能被用户利用进行隐蔽通信的数据库对象;监控用户对所述数据库对象的操作是否满足设定扩展规则;对满足设定扩展规则的操作按照设定方式进行试探性测试;将未通过所述试探性测试的操作确定为隐蔽信道通信的异常操作。本发明解决因对所有的潜在隐蔽信道进行度量和处置产生不必要的性能消耗及降低系统效率的问题,将隐蔽信道的使用主体是自然人还是程序进行区分,达到了降低对隐蔽信道进行度量和处置的性能消耗及提高系统效率的效果。
-
公开(公告)号:CN105511885B
公开(公告)日:2019-03-08
申请号:CN201510933002.0
申请日:2015-12-12
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 本发明提供了在商业智能中利用JSON描述基础二维表数据并应用于数据可视化的一种方法,包括:对用户二维表形式的原始业务数据列进行JSON化描述,在商业智能的数据可视化中提供高度灵活、可扩展的数据列描述定义;此数据结构在商业智能中将用于创建复杂查询,同时结合查询结果最终组织成供各种数据可视化组件使用的数据描述。本发明能够使商业智能可视化工具的使用者及开发者对可视化选项的设置更加直接,避免关注复杂的中间过程,专注于具体的可视化任务实现。
-
公开(公告)号:CN104410698B
公开(公告)日:2019-03-08
申请号:CN201410727702.X
申请日:2014-12-03
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 本发明提供一种share nothing集群下的发起节点异常处理方法及装置,所述方法包括:集群中发起节点接收到数据请求任务后,先将其他节点设置为此数据请求任务的接管节点,接管节点向集群管理软件提交注册信息完成信息记录,发起节点继续执行任务;若执行过程无异常,发起节点完成任务并将集群管理软件设置为任务结束并清理资源;若执行过程出现异常,集群管理软件选择一个接管节点继续执行任务,接管节点完成任务之后将集群管理软件设置为任务结束并清理资源;如果任务已不可继续执行,则进行任务的异常处理,进行恢复。本发明能够解决数据库系统在执行任务中并行任务管理软件发生异常时造成集群数据不一致问题,提高了系统的稳定性。
-
公开(公告)号:CN108256003A
公开(公告)日:2018-07-06
申请号:CN201711497512.3
申请日:2017-12-29
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
Abstract: 本发明提供了一种根据分析数据重复率提高union运算效率的方法,首先分析了集合的数据特征,然后对符合某些特征的集合进行优化,从而大幅缩短运算时间。这里的数据特征是指数据有较多的重复值。分析数据特征时采用抽样方式来分析重复率,对符合特征值的集合先对union两端的数据分别进行去重操作,然后再进行union运算,这样大大降低了union操作的时间和磁盘IO时间,从而降低总查询时间。
-
公开(公告)号:CN104572895B
公开(公告)日:2018-02-23
申请号:CN201410820059.5
申请日:2014-12-24
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
Abstract: 本发明提供一种MPP数据库与Hadoop集群数据互通方法、工具及实现方法,包括利用数据互通工具直接进行MPP数据库与Hadoop集群之间数据的互通的方法以及通过TXT中转进行数据互通的方法,数据由MPP数据库直接导出(导入)至Hadoop集群,无需通过MPP数据库与Hadoop集群之外的存储单元中转,从而使得导出过程更加高效,如需Hadoop集群进行数据的二次处理,可选择TXT格式中转方式。本发明能够解决MPP数据库和Hadoop业务间数据无法互通的问题,实现MPP数据库和Hadoop两种业务平台的混搭。
-
公开(公告)号:CN104375906B
公开(公告)日:2017-06-13
申请号:CN201410664300.X
申请日:2014-11-19
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F11/14
Abstract: 本发明提供了一种基于文件系统的大规模备份数据快速校验方法:包括:备份索引文件;所述备份索引文件包括实际备份数据的文件夹和文件块;所述文件夹包括文件夹的路径;所述文件块包括文件块所在文件的路径、起始偏移、文件块大小和校验值。本发明的有益效果为:以文件块为最小备份单位,无需关注整个文件的校验值;这种备份数据的组织形式,有利于使用多核CPU资源进行并行校验;校验数据时,除校验所有文件块以外,仅需校验文件大小的总和以及文件夹的存在情况,即可确保备份数据严格正确,避免了大规模的归并运算。
-
公开(公告)号:CN106776001A
公开(公告)日:2017-05-31
申请号:CN201611029645.3
申请日:2016-11-14
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F9/50
Abstract: 本发明提供了一种分布式数据库集群数据的分布方法及装置,其中,所述方法包括:在集群节点安装时,获取所述节点的硬件信息;配置所述集群的哈希地图Hash Map,并根据所述节点的硬件信息为每个节点分配哈希桶。可灵活的调整节点哈希桶的数量,能够保证高硬件资源的节点分配更多的数据,避免了节点运算的木桶效应。
-
-
公开(公告)号:CN106354830A
公开(公告)日:2017-01-25
申请号:CN201610777767.4
申请日:2016-08-31
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
Abstract: 本发明提供了一种数据库集群节点间数据同步的方法及装置,其中,所述方法包括:从元数据服务器获取需要同步的表的信息;检查锁队列,确认是否包括删除所述表的锁;如果所述锁队列中不包括所述表的删除信息,则进行数据同步。可以在对表进行修改之前将表删除,减少数据交换同步,避免浪费时间和系统资源。高效的完成数据库同步。
-
公开(公告)号:CN106354829A
公开(公告)日:2017-01-25
申请号:CN201610777661.4
申请日:2016-08-31
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
CPC classification number: G06F16/221
Abstract: 本发明提供了一种列存数据库的物化方法及装置,其中,所述方法包括:按照列存数据库物化需要的行号索引进行排序,将排序后的数据进行物化;将物化的数据根据物化序号排序,按照所述行号索引对数据进行物化。通过将乱序的行号索引排序,提前将该维度数据物化,以避免频繁的重复I/O。然后通过高效的排序算法将物化的数据调整顺序,使原来的维度可以顺序物化。最后将原来的乱序行号索引换成顺序的索引,基于新的数据物化。提高了join后物化的性能,减少了大量的重复I/O。
-
-
-
-
-
-
-
-
-