-
公开(公告)号:CN112612854B
公开(公告)日:2023-01-24
申请号:CN202011607550.1
申请日:2020-12-29
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F16/27
Abstract: 本发明创造提供了一种集群数据库在断电或宕机时保证数据一致性的方法,包括以下步骤:S1、集群Coordinator接收用户的DML操作;S2、向一致性服务gcware注册Failover信息;S3、向计算单元发送DML任务;S4、计算单元处理过程中Coordinator宕机;S5、触发Failover;S6、进行一致性服务;S7、选择新的coordinator接管;S8、判断各计算单元状态;S9、回滚目标表数据;S10、释放目标表排它锁。本发明创造有益效果:一种集群数据库在断电或宕机时保证数据一致性的方法在意外发生时保证了数据库的数据正确,保持了目标表数据在各计算单元的数据一致,避免出现严重的数据问题。
-
公开(公告)号:CN114706797B
公开(公告)日:2022-09-16
申请号:CN202210638814.2
申请日:2022-06-08
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 本发明提供了一种高效回收存储空间的方法,具体步骤如下:客户端向集群协调器发送回收任务信息,集群协调器申请待处理目标表的排它锁;集群协调器向协调器节点发送回收任务信息;协调器节点根据接收的回收任务信息,按列逐行或者逐块处理磁盘数据中有空洞的数据并生成有效数据列,删除原有列无效数据;协调器节点将删除结果返回给集群协调器;释放目标表的排它锁。本发明所述的一种高效回收存储空间的方法,解决了大数据删除表数据后,这些数据仍然占用磁盘空间造成数据空洞的问题,解决了磁盘资源紧张以及只能通过表转储数据才能解决数据空洞和数据膨胀问题。
-
公开(公告)号:CN112306756A
公开(公告)日:2021-02-02
申请号:CN202011278277.2
申请日:2020-11-16
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 本发明提供了一种高效实现主副本数据完全一致性的方法,包括以下方法:S1、解析DML任务后扫描相关表的数据;S2、根据设定的关联条件逐条生成结果集;S3、把结果集组成数据块;S4、本地立即存储完成的数据块;S5、依照存储顺序给数据块编号;S6、把数据块加入异步发送队列;S7、本地处理完所有数据块;S8、确认备份节点存储完所有数据块。本发明所述的集群数据库的表为了高可用,被横向切分成多个表分片,每个表分片有多个备份,一个备份不可用了,另一个备份必须立即替代,数据必须完全一致。原来的执行逻辑是同时下发DML任务到主备节点上分别执行,各备份节点分别按照自己的并发逻辑执行可能导致主备对应行的数据不一致。
-
公开(公告)号:CN114706797A
公开(公告)日:2022-07-05
申请号:CN202210638814.2
申请日:2022-06-08
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 本发明提供了一种高效回收存储空间的方法,具体步骤如下:客户端向集群协调器发送回收任务信息,集群协调器申请待处理目标表的排它锁;集群协调器向协调器节点发送回收任务信息;协调器节点根据接收的回收任务信息,按列逐行或者逐块处理磁盘数据中有空洞的数据并生成有效数据列,删除原有列无效数据;协调器节点将删除结果返回给集群协调器;释放目标表的排它锁。本发明所述的一种高效回收存储空间的方法,解决了大数据删除表数据后,这些数据仍然占用磁盘空间造成数据空洞的问题,解决了磁盘资源紧张以及只能通过表转储数据才能解决数据空洞和数据膨胀问题。
-
公开(公告)号:CN112612854A
公开(公告)日:2021-04-06
申请号:CN202011607550.1
申请日:2020-12-29
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F16/27
Abstract: 本发明创造提供了一种集群数据库在断电或宕机时保证数据一致性的方法,包括以下步骤:S1、集群Coordinator接收用户的DML操作;S2、向一致性服务gcware注册Failover信息;S3、向计算单元发送DML任务;S4、计算单元处理过程中Coordinator宕机;S5、触发Failover;S6、进行一致性服务;S7、选择新的coordinator接管;S8、判断各计算单元状态;S9、回滚目标表数据;S10、释放目标表排它锁。本发明创造有益效果:一种集群数据库在断电或宕机时保证数据一致性的方法在意外发生时保证了数据库的数据正确,保持了目标表数据在各计算单元的数据一致,避免出现严重的数据问题。
-
-
-
-