-
公开(公告)号:CN111078734B
公开(公告)日:2023-08-08
申请号:CN201911361506.4
申请日:2019-12-25
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F16/2453
Abstract: 本发明提供一种通过创建内部临时表索引提高start with查询性能的方法,将查询中from的子句的多表关联操作变为内部临时表;对临时表进行扫描,取出符合条件的数据,并且使临时表可重复使用;创建栈表,将上一步中符合条件的数据放入栈表内;对该栈表进行扫描,出栈一条数据;对临时表进行扫描;将上两步的扫描结果进行汇合,得到符合下一个条件的数据;重复以上三步,至栈表为空;重复以上步骤至所有条件过滤完成,结果集中的数据即为最终结果。该发明的有益效果是:通过添加hint开关,使查询期间内部临时表可复用,通过修正优化模块,使优化器采用自动索引查询,进而能够通过创建内部临时表的方法,优化start with的执行性能,提高运行速率,快速得到运行结果。
-
公开(公告)号:CN112597251B
公开(公告)日:2023-01-24
申请号:CN202011607549.9
申请日:2020-12-29
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 本发明提供了一种基于RDMA的高可用数据库集群日志同步方法,发送端包括如下步骤:主节点创建日志处理和发送线程,进行日志流数据的切分处理并将切分后的日志块写入管道;主节点创建RDMA发送线程,从管道中读取日志块数据并发送到从节点。本发明采用优选的基于RDMA同步日志数据的方式,能够显著提升日志数据传输速度,降低日志传输的网络延迟,能够减少数据库对单个事务的响应时间,在高并发的场景下,因此能够显著提升数据库的高可用性,提升用户体验。
-
公开(公告)号:CN112612855A
公开(公告)日:2021-04-06
申请号:CN202011607632.6
申请日:2020-12-29
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F16/27
Abstract: 本发明提供了一种高可用数据库日志同步方法,包括:从节点创建至少一个recv_thread线程进行日志块数据的处理和接收,所述日志块数据是由主节点将日志流数据切分而成的日志块数据,每个日志块数据包括日志首部信息和日志数据;每当recv_thread线程接收到一个日志块数据时,先从日志块数据中提取首部信息,根据首部信息将该日志块数据放置接收队列中;所述日志接收队列为一个指针数组,数组中的每个成员为一个结构指针,每个结构指针指向一个结构head,结构head中有两个链表,分别为顺序链表和失序链表,链表中的每个节点是一个日志块数据。本发明能够有效提高集群中从节点对日志的接收和处理速度,降低主从节点日志同步延迟,提高数据库集群高可用性。
-
公开(公告)号:CN112597251A
公开(公告)日:2021-04-02
申请号:CN202011607549.9
申请日:2020-12-29
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 本发明提供了一种基于RDMA的高可用数据库集群日志同步方法,发送端包括如下步骤:主节点创建日志处理和发送线程,进行日志流数据的切分处理并将切分后的日志块写入管道;主节点创建RDMA发送线程,从管道中读取日志块数据并发送到从节点。本发明采用优选的基于RDMA同步日志数据的方式,能够显著提升日志数据传输速度,降低日志传输的网络延迟,能够减少数据库对单个事务的响应时间,在高并发的场景下,因此能够显著提升数据库的高可用性,提升用户体验。
-
公开(公告)号:CN104239418B
公开(公告)日:2018-01-19
申请号:CN201410409583.3
申请日:2014-08-19
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
Abstract: 本发明提供一种支持分布式数据库的分布锁方法,包括将分布式数据库所需要的锁资源作为一个整体形成虚拟分布式锁管理器,虚拟分布式锁管理器在分布式数据库的每个节点内设置本地映像,并使所有本地映像保持同步;虚拟分布式锁管理器的任一节点的本地映像收到应用系统的请求后,确定与该请求对应的分布式锁对象,并同步到所有其他节点的分布式锁管理器本地映像上;分布式数据库的节点通过虚拟分布式锁管理器的本地映像,来进行数据库的资源锁定操作。本发明的优点是:能够提供给分布式数据库一种事务资源独占方式,避免资源在分布系统下的访问冲突;同时,也能够保障在高可用性和高性能的前提下,资源在分布式数据系统的一致性。
-
公开(公告)号:CN104239417A
公开(公告)日:2014-12-24
申请号:CN201410409582.9
申请日:2014-08-19
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
CPC classification number: G06F17/30377
Abstract: 本发明提供一种分布式数据库数据分片后动态调整方法,包括:生成新的分片规则,同时保留旧的分片规则;根据旧的分片规则取出分布式数据库所有涉及的每个节点内的分片数据,在按照新的分片规则重新分布到各个节点;重新分布到各个节点后,删除旧的分片规则,只留新的分片规则;其中,根据所有的分片规则进行读操作,根据最新的分片规则进行写操作。本发明具有的优点和积极效果是:保障了分布式数据库的高可用性和扩展性,能够使得分布式数据库在节点调整时继续提供服务;同时,在后台整理完成后不影响分布式数据库的性能,有效的保障了分布式数据库对集群节点的利用率。
-
公开(公告)号:CN119440670A
公开(公告)日:2025-02-14
申请号:CN202510038928.7
申请日:2025-01-10
Applicant: 天津南大通用数据技术股份有限公司
Inventor: 陈文亭
Abstract: 本发明提供了一种数据加载方法、装置、电子设备及存储介质,可以应用于电数字数据处理领域。该方法包括:基于数据块占用空间参数,利用读取线程读取数据文件,生成初始数据块;对初始数据块进行处理,生成目标数据块,目标数据块表征标记有解析终止位置的数据块,目标数据块存储于阻塞式数据块队列;基于解析终止位置,利用解析线程对目标数据块进行解析,生成至少一个初始行数据,解析线程与读取线程并行,初始行数据表征标记有列位置的数据,至少一个初始行数据存储于阻塞式数据行队列;基于列位置,对阻塞式数据行队列中至少一个初始行数据进行列数据赋值处理,得到目标行数据;利用数据操作语言将目标行数据批量加载到目标数据库中。
-
公开(公告)号:CN104239417B
公开(公告)日:2017-06-09
申请号:CN201410409582.9
申请日:2014-08-19
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
Abstract: 本发明提供一种分布式数据库数据分片后动态调整方法,包括:生成新的分片规则,同时保留旧的分片规则;根据旧的分片规则取出分布式数据库所有涉及的每个节点内的分片数据,在按照新的分片规则重新分布到各个节点;重新分布到各个节点后,删除旧的分片规则,只留新的分片规则;其中,根据所有的分片规则进行读操作,根据最新的分片规则进行写操作。本发明具有的优点和积极效果是:保障了分布式数据库的高可用性和扩展性,能够使得分布式数据库在节点调整时继续提供服务;同时,在后台整理完成后不影响分布式数据库的性能,有效的保障了分布式数据库对集群节点的利用率。
-
公开(公告)号:CN103064964B
公开(公告)日:2016-04-20
申请号:CN201210591754.X
申请日:2012-12-29
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
Abstract: 本发明提供了一种支持分布式事务的数据库的连接方法,包括:将分布式事务所涉及的分布式数据库连接对象作为一个整体进行封装,形成多节点执行器,并将多节点执行器对象作为分布式数据库连接池的缓存对象进行缓存,并建立与应用系统的对应关联关系;分布式数据库连接池接收到应用系统请求后,确定与该请求对应的有逻辑关系的缓存的多节点执行器对象;将上一步骤所确定的多节点执行器对象分配给应用系统用于对数据库的分布式事务操作。本发明的有益效果是能够使应用系统从繁杂的分布式事务处理逻辑中解脱出来,专心于业务逻辑;同时,也能够保障对多个数据库的分布式访问读写操作的正确性,有效提高对多数据库进行分布式事务操作的利用率。
-
公开(公告)号:CN112685779A
公开(公告)日:2021-04-20
申请号:CN202011636522.2
申请日:2020-12-31
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F21/62 , G06F16/242
Abstract: 本发明提供了一种基于数据库执行select语句主要关键字的静态可信判定方法,包括以下步骤:S1.管理员根据SQL语句的特征确定主要关键字,计算关键字字符串的hash值,将hash加到原有的最新的PCR后,再进行hash计算得到新的PCR值;S2.数据库运行在可信环境中时,用户使用select语句进行查询,并计算select语句的PCR值;S3.将S2中计算得到的PCR值与步骤S1中计算得到的PCR值进行比较;S4.比较结果一致证明当前用户输入SQL语句可信,继续执行下步操作,不一致证明用户操作不可信,终止执行并反馈给用户。本发明所述的基于数据库执行select语句主要关键字的静态可信判定方法选取的主要关键字是用户执行绝大多数select语句都使用的关键字,用来进行静态可信计算可以尽可能的满足用户需求。
-
-
-
-
-
-
-
-
-