-
公开(公告)号:CN119179499A
公开(公告)日:2024-12-24
申请号:CN202411668044.1
申请日:2024-11-21
Applicant: 江苏华库数据技术有限公司 , 天津南大通用数据技术股份有限公司
Abstract: 本申请提供一种云数据仓库自动部署方法、装置、终端及存储介质,涉及电数字数据处理领域。该方法包括:利用云数据仓库的helm chart安装包在kubernetes云原生平台上部署云数据仓库的基础服务组件,基础服务组件包括云服务前后端组件和kubernetes节点管理组件;利用云服务前后端组件和kubernetes节点管理组件创建目标租户的数据库元数据管理组件和数据库协调节点组件;利用云服务前后端组件、kubernetes节点管理组件和目标租户数据库协调节点组件创建目标租户的数据库计算节点组件。本申请能够很大程度上避免传统手动部署时易出错的问题,极大提高云数据仓库产品的易用性、实用性和可移植性。
-
公开(公告)号:CN119166537A
公开(公告)日:2024-12-20
申请号:CN202411641553.5
申请日:2024-11-18
Applicant: 苏州吉呗思数据技术有限公司 , 天津南大通用数据技术股份有限公司
Inventor: 张娜
IPC: G06F11/36
Abstract: 本发明提供了一种数据库极限测试用例生成方法、数据库极限测试方法,可以应用于数据库技术领域。该数据库极限测试用例生成方法包括:获取触发待测试数据库产生性能问题的触发场景;确定与触发场景相匹配的多组数据库操作维度信息,数据库操作维度信息与数据库操作维度对应,每组数据库操作维度信息包括至少一个操作参数;数据库操作维度包括第一操作维度和第二操作维度;将基于第一操作维度组成的多个主测试用例,和基于第二操作维度组成的多个从测试用例进行组合,得到多个数据库极限测试用例;根据多个触发场景各自的多个数据库极限测试用例,生成测试用例矩阵,测试用例矩阵用于存储针对每个触发场景的数据库极限测试用例。
-
公开(公告)号:CN119149547A
公开(公告)日:2024-12-17
申请号:CN202411649766.2
申请日:2024-11-19
Applicant: 江苏华库数据技术有限公司 , 天津南大通用数据技术股份有限公司
Inventor: 王久祥
IPC: G06F16/22 , G06F16/27 , G06F16/2455 , G06F16/2453
Abstract: 本发明提供一种节点替换场景下的MPP数据库查询方法及系统,属于分布式数据库技术领域,该方法包括:接收并解析查询语句,获得待查询表的分布信息;根据分布信息,将存在包含关系的包含表与被包含表进行分布编号替换,获得相同分布编号的待关联查询表;由待关联查询表的各节点分片上根据查询语句执行查询,获得多个查询结果;根据多个查询结果输出终查询结果。本发明降低了节点替换导致的性能损失,通过主备分片的扩容中重分布未完成的包含关系避免重分布过程带来的大量开销,在查询结果准确无误的前提下,提升查询效率。
-
公开(公告)号:CN119149522A
公开(公告)日:2024-12-17
申请号:CN202411641365.2
申请日:2024-11-18
Applicant: 苏州吉呗思数据技术有限公司 , 天津南大通用数据技术股份有限公司
Inventor: 崔杰
IPC: G06F16/21 , G06F16/27 , G06F16/245
Abstract: 本发明提供了一种基于分布式数据库的数据处理方法、装置及电子设备,可以应用于数据库数据闪回技术领域。该方法包括:主执行节点将获取到的操作请求发送至子执行节点,操作请求针对目标表执行操作;子执行节点将操作执行结果发送至主执行节点,其中,操作执行结果是根据操作请求对目标表操作得到的;在操作执行结果表征执行成功的情况下,主执行节点获取与操作执行结果相对应的操作版本标识,并将操作版本标识发送至子执行节点;子执行节点根据操作版本标识和与目标表相关的操作记录信息,生成位图记录文件;根据位图记录文件和操作版本标识,对目标表中的数据进行闪回查询和闪回恢复操作。
-
公开(公告)号:CN119149366A
公开(公告)日:2024-12-17
申请号:CN202411630562.4
申请日:2024-11-15
Applicant: 江苏华库数据技术有限公司 , 天津南大通用数据技术股份有限公司
Abstract: 本发明涉及电数字处理技术领域,尤其涉及一种慢日志采集动态调整方法及系统,方法包括如下步骤:部署慢日志执行方法脚本;启动所有慢日志采集器并注册到运维平台;运维平台实时计算慢日志采集器每分钟合理采集数据的条数,并将其总和与当前待采集的数据条数比较,然后根据比较结果采用不同的任务分配方式将当前待采集的数据分配给慢日志采集器;慢日志采集器接收到运维平台分配的采集任务后对相应的数据进行采集并保存。本发明提供的方法能够实时动态调整分配待采集的任务,提高了慢日志的采集效率及可靠性。
-
公开(公告)号:CN118796613B
公开(公告)日:2024-12-06
申请号:CN202411275801.9
申请日:2024-09-12
Applicant: 苏州吉呗思数据技术有限公司 , 天津南大通用数据技术股份有限公司
Inventor: 李琳琳
IPC: G06F11/30 , G06F11/32 , G06F18/213 , G06F18/22 , G06F18/27 , G06N3/0464
Abstract: 本发明提供了一种数据库告警方法和装置,可以应用于数据库、数据安全技术领域。该方法包括:获取数据库在第一预定时段内的运行参数集合;将第一预定时段内的运行参数集合输入至数据库告警预测模型的参数预测子模型中,得到第二预定时段内的预测参数集合;将第二预定时段内的预测参数集合输入至数据库告警预测模型的状态预测子模型中,得到数据库在第二预定时段内的多个状态预测结果,其中,每个状态预测结果表征数据库在第二预定时段内的一个时刻的状态预测结果;以及在状态预测结果表征数据库出现异常的情况下,生成数据库告警信息,数据库告警信息包括告警时刻和状态预测结果,告警时刻表征状态预测结果中数据库出现异常的时刻。
-
公开(公告)号:CN118820119B
公开(公告)日:2024-12-03
申请号:CN202411305079.9
申请日:2024-09-19
Applicant: 江苏华库数据技术有限公司 , 天津南大通用数据技术股份有限公司
Inventor: 岳浩宇
Abstract: 本发明涉及数据处理技术领域,公开了一种基于模拟数据生成的数据处理测试方法及系统,方法包括:定义配置文件,基于配置文件定义目标表结构;配置主键列及库表模式,定义POS号及其起始值;通过Json拼接组件根据配置文件生成测试Json消息;通过Json发送组件进行数据同步模拟处理,得到模拟处理数据;通过模拟处理数据对待同步数据进行数据同步,得到目标数据;对目标数据进行同步测试结果分析,得到目标分析结果,并将目标分析结果传输至预置的数据处理终端。本发明针对特定的测试需求调整测试参数,这种灵活性意味着同一套测试框架可以应用于多种不同的数据同步场景,从而大大增强了测试工作的适用性和效率。
-
公开(公告)号:CN118316606B
公开(公告)日:2024-11-29
申请号:CN202410732874.X
申请日:2024-06-07
Applicant: 天津南大通用数据技术股份有限公司
Inventor: 陈子扬
Abstract: 本发明提供一种密钥管理方法、装置、电子设备及存储介质。该方法包括:建立逐层嵌套的密钥,并基于逐层嵌套的密钥进行数据加密;逐层嵌套的密钥包括:多个密钥层级,每一密钥层级用于加密下一密钥层级的密钥和/或经下一密钥层级加密后的数据,不同密钥层级采用的加密算法不同;在逐层嵌套的密钥的使用期间,实时获取加解密过程中的性能参数,并基于性能参数,确定逐层嵌套的密钥的性能评价值;基于逐层嵌套的密钥的性能评价值,更新逐层嵌套的密钥,并基于更新后的密钥进行数据加密。本发明能够提升密钥复杂度,降低数据泄露风险。
-
公开(公告)号:CN118820280B
公开(公告)日:2024-11-19
申请号:CN202411305332.0
申请日:2024-09-19
Applicant: 江苏华库数据技术有限公司 , 天津南大通用数据技术股份有限公司
Inventor: 马宇昕
IPC: G06F16/242 , G06F16/21 , G06F9/448
Abstract: 本发明涉及数据库技术领域,提供一种面向对象式的嵌套Record数据类型管理方法,包括:通过递归调用Record类,获得嵌套Record数据的字段名和字段类型,通过递归运用Record对象,分配嵌套Record数据的存储区域;通过递归调用Record对象的赋值方法将值写入存储区域;通过递归调用Record对象的取值方法读取存储区域中的值;采用类、对象和方法的概念,实现了对嵌套Record数据类型的管理,本发明对数据嵌套的层数没有限制,可以实现任意层Record数据类型的嵌套,使得用户能够更加方便地创建、操作和管理嵌套Record类型,能够满足大规模数据处理的需求,提高数据管理的安全性和可靠性。
-
公开(公告)号:CN117951184B
公开(公告)日:2024-11-08
申请号:CN202410348467.9
申请日:2024-03-26
Applicant: 天津南大通用数据技术股份有限公司
Inventor: 赵景喜
IPC: G06F16/2455 , G06F16/242 , G06F16/27
Abstract: 本发明提供一种基于分布式数据库的结果集分页返回方法及系统,属于数据查询技术领域,具体包括:随机生成随机因子,基于随机因子创建表;预设遍历分片数,根据随机因子及所述遍历分片数计算获得用于执行遍历计划的遍历起始点;由遍历起始点,根据遍历分片数进行顺序递增,至末分片后转至首分片,直至遍历起始点的上一节点,获得执行顺序;根据执行顺序执行分页查询语句,对表进行遍历,当当前遍历分片结果集不足时,由下一遍历分片补足当前遍历分片结果集,获得遍历结果。本发明能够规避热点节点的产生,另外在出现节点故障、集群扩缩容、SQL中带有查询条件等变化时,也能同样满足返回数据的一致性和正确性。
-
-
-
-
-
-
-
-
-