-
公开(公告)号:CN104537078A
公开(公告)日:2015-04-22
申请号:CN201410851219.2
申请日:2014-12-31
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
CPC classification number: G06F17/30952
Abstract: 本发明提供一种基于滑块的目录索引优化方法,包括以下步骤:(1)在目录索引中设置动态检索滑块,且在该检索滑块内增加可配置该检索滑块大小的参数;(2)在检索系统中输入查询条件,配置文件根据查询条件为目录索引属性设置参数;(3)目录索引启动时根据所启动目录索引的属性读取配置文件中的参数;(4)根据检索滑块内参数的设置,重新计算目录索引中的索引个数;(5)根据滑块参数及目录索引中的索引个数做循环,计算该目录索引当前属性当前类别匹配规则的索引值;(6)统计检索结果;采用上述技术方案,可以根据业务需要指定滑块大小,避免any类型的索引要进行的每字符错位计算,可以快速完成索引创建过程,又能保证查询的效率。
-
公开(公告)号:CN104504530A
公开(公告)日:2015-04-08
申请号:CN201410854662.5
申请日:2014-12-31
Applicant: 天津南大通用数据技术股份有限公司
Inventor: 何江
CPC classification number: G06F17/30418 , G06F17/30333
Abstract: 本发明提供了一种在数据分析中可变维度的处理方法,包括:修改维度表存储结构,对维度改变的字段内容进行记录和使用可变维度表进行数据分析。本发明的有益效果是:记录了维度信息的有效时间范围;同时能够保证了同一维度多条记录间的顺序性;并且能够保证在统一维度的多条记录中有且只有一条记录满足过滤条件,能够将变维度表转换成普通维度表,操作方便。
-
公开(公告)号:CN104504445A
公开(公告)日:2015-04-08
申请号:CN201410847872.1
申请日:2014-12-31
Applicant: 天津南大通用数据技术股份有限公司
Inventor: 何江
IPC: G06Q10/00
CPC classification number: G06F21/6227 , G06F17/30595
Abstract: 本发明提供一种在线数据分析服务中参考值的实现方法,包括:企业级统计数据参考值实现,以及非企业级统计数据参考值实现。在传统数据分析中,仅允许用户访问自己的数据,但这往往是不够的;而针对在线数据分析中,所有用户数据都存储在云端系统,使用多个用户数据同时分析成为可能。但是,由于数据安全性的要求,不能将其他用户数据直接提供给某一用户使用。本发明的有益效果是:能够保证其他用户数据不泄露,增强了用户数据的保密性。
-
公开(公告)号:CN104484469A
公开(公告)日:2015-04-01
申请号:CN201410847870.2
申请日:2014-12-31
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
CPC classification number: G06F17/303 , G06F17/3033
Abstract: 本发明创造提供一种支持多hash map数据库集群系统不停机的扩容方法,包括以下步骤:S1.集群中的原表都绑定到现有的hash map上,现有的hash map命名为old hash map;S2.进行集群扩容时,执行产生新hash map的命令,集群产生新的hash map,并把该hash map设定为current hash map;S3.集群扩容后新创建的表自动绑定到current hash map上;S4.对原表和新表的任何操作将以current hash map为当前操作的hash map,基于old hash map的老表的原有的hash特性将丢失,需要按照current hash map进行数据动态重分布后参与和新表的运算。S5.迁移部分数据到新节点上,迁移完成后该表即可绑定到current hash map上。这种设计性能不衰减,数据过渡自然。
-
公开(公告)号:CN104462334A
公开(公告)日:2015-03-25
申请号:CN201410727736.9
申请日:2014-12-03
Applicant: 天津南大通用数据技术股份有限公司
CPC classification number: G06F16/215
Abstract: 本发明旨在提供一种在列存储数据库中自适应的智能压缩方法。包括,多种压缩算法构成的复合压缩引擎,对一列中的数据进行抽样分析特征,按照特征缩减压缩引擎中备选算法的范围,通过采样压缩的方式选定压缩算法,以及同一压缩方法的步长控制防止抽样异常造成整列压缩效果不佳。本发明可以在列存数据库中对存储数据进行有效的压缩,通过复合算法引擎适应不同的数据。而数据抽样以及采样可以有效的在相近算法中做出选择,避免了传统复合算法下追求压缩比而造成的过量计算,兼顾压缩速度与压缩比的综合结果。
-
公开(公告)号:CN104243552A
公开(公告)日:2014-12-24
申请号:CN201410409584.8
申请日:2014-08-19
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 本发明提供一种基于LDAPV3协议的快速统计目录子树条目数的方法,包括如下步骤:目录服务方在目录添加或删除条目时,在条目DN的索引文件中记录或更新条目所在子树的一级子条目数和所有子条目数;目录客户方向目录服务方发出符合LDAPV3协议的目录子树条目数统计的扩展操作请求;目录服务方从条目DN的索引文件中获取该子树的条目数,并通过扩展操作的应答操作返回给目录客户方;以及目录客户方解析出目录子树的条目数。本发明具有的积极效果是:避免了服务方通过去遍历子树来得到子树条目数的方式,大幅加快了子树条目数统计的速度,避免了服务方因统计条目数导致的服务性能下降;并且避免搜索操作由于返回条目数限制而造成无法返回结果的问题。
-
公开(公告)号:CN120068126A
公开(公告)日:2025-05-30
申请号:CN202510550435.1
申请日:2025-04-29
Applicant: 天津南大通用数据技术股份有限公司
Inventor: 郎志爽
IPC: G06F21/60 , G06F21/62 , G06F16/182
Abstract: 本发明提供了一种分布式文件系统集群的访问方法、装置、设备和介质,其中,应用于数据库,数据库用于访问多套密钥分发中心认证的多个分布式文件系统集群,该方法包括:为数据库用户开放对密钥分发中心的票据文件和配置文件的读权限;在数据库中为每个分布式文件系统集群创建对应的secret对象,为每个secret对象设置访问权限;数据库执行创建secret对象的语句,读取密钥分发中心的票据文件和配置文件;在数据库中创建每个分布式文件系统集群的数据对象,将secret对象作为数据对象的访问参数;数据对象基于访问参数访问分布式文件系统集群。实现数据库对不同KDC认证HDFS集群的安全访问,并进一步提升数据安全性。
-
公开(公告)号:CN120066752A
公开(公告)日:2025-05-30
申请号:CN202510565556.3
申请日:2025-04-30
Applicant: 天津南大通用数据技术股份有限公司
Inventor: 刘雅婷
Abstract: 本发明提供了一种基于动态优先级的双通道脏数据处理系统及方法,包括以下步骤:脏数据监测模块实时监测数据库中的数据状态;动态优先级评估模块自动划分数据优先级;热修复通道模块对数据进行实时修复;冷处理通道模块对数据进行异步批量处理;通道协同机制对热修复进行资源隔离,并实时控制热修复和冷处理的数据版本;日志记录与监控模块负责实时记录和监控脏数据的相关信息及其处理过程。本发明的有益效果:动态优先级调度机制、分级处理与资源隔离架构,解决传统数据库脏数据处理方法无法根据脏数据的紧急程度和重要性进行灵活处理的问题。
-
公开(公告)号:CN120029859A
公开(公告)日:2025-05-23
申请号:CN202510512121.2
申请日:2025-04-23
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 本发明提供了一种GBase8s数据库越界定位方法及系统,包括:从GBase8s数据库的segment内存空间中申请可分配内存空间,以及从可分配内存空间中为指定的程序申请目标内存空间;将可分配内存空间和/或目标内存空间作为待检查内存空间,对待检查内存空间进行保护处理;将GBase8s数据库的共享内存空间映射至待检查内存空间对应的shadow内存空间;如果接收到访问请求,通过ASAN内存错误检查器,基于共享内存空间对访问请求是否存在越界问题进行检测,得到越界检测结果。本发明可以解决ASAN内存错误检查器与GBase8s数据库不匹配的问题,实现两者之间的协同工作。
-
公开(公告)号:CN119149438B
公开(公告)日:2025-04-22
申请号:CN202411641384.5
申请日:2024-11-18
Applicant: 苏州吉呗思数据技术有限公司 , 天津南大通用数据技术股份有限公司
Inventor: 李维维
IPC: G06F11/3668 , G06F16/27
Abstract: 本发明提供了一种分布式数据库稳定性测试方法及装置、电子设备和存储介质,可应用于数据库测试技术领域。该分布式数据库稳定性测试方法包括:设置用于表征预期压力随时间变化的预期压力波动模式,其中,预期压力波动模式包括多种变压模式和多种恒压模式;调用测试用例执行测试,并使得在实际测试期间的实际压力波动模式符合预期压力波动模式;在实际测试期间中实际压力波动模式符合恒压模式的第一测试阶段,进行第一异常干扰;在实际测试期间中实际压力波动模式符合变压模式的第二测试阶段,进行第二异常干扰。
-
-
-
-
-
-
-
-
-