公开(公告)号：CN116881051B

公开(公告)日：2023-12-08

申请号：CN202311142122.X

申请日：2023-09-06

Applicant: 天津神舟通用数据技术有限公司

Inventor： 王金海 ,  付秋颖 ,  刘碧楠 ,  张雷 ,  周勇亮 ,  王德鑫 ,  胡薇 ,  吴嵩

IPC: G06F11/14

Abstract: 本发明提供了一种数据备份与恢复方法、装置、电子设备和存储介质。该方法包括：在接收到备份指令的情况下，采集目标数据的表对象；根据表对象的表格信息，对表对象进行分片处理，获得N个数据片；调用N个备份线程并行对N个数据片进行数据备份处理，以将N个数据片备份至预设的数据库；在接收到恢复指令的情况下，并行调用N个恢复线程对数据库存储的备份文件进行数据恢复处理，获得N个数据片；对N个数据片进行合片处理，获得目标数据。本发明实施例中，通过并行调用大量线程的方式实现对海量数据的数据备份和数据恢复，这降低了数据备份和数据恢复的时间，进而提高了数据备份和数据恢复的效率。

公开(公告)号：CN117131058A

公开(公告)日：2023-11-28

申请号：CN202311369907.0

申请日：2023-10-23

Applicant: 天津神舟通用数据技术有限公司

Inventor： 王金海 ,  何清法 ,  付秋颖 ,  崔伟 ,  刘碧楠 ,  顾云苏 ,  龙启斌 ,  胡薇

IPC: G06F16/22 ,  G06F9/50 ,  G06F16/242

Abstract: 本发明公开一种基于数据分片的并行对比数据库表数据的方法，本发明涉及数据对比领域，设置对应的线程池和两端数据库，所述两端数据库用于储存相关的数据信息；通过线程池采集两端数据库中需要对比的数据信息，生成表对任务；分析表对任务是否需要进行分片处理，根据分析结果对其进行分片处理；将分片处理的数据进行拼接整合，组成新的任务对；将所组成的任务对通过线程池进行查询，根据查询结果组成数据对任务；设置数据对比引擎，将数据对任务通过数据对比引擎进行对比分析，输出对比结果；本发明的有益效果为在一定程度上降低了数据量的粒度，提高了并行度和对比效率。

公开(公告)号：CN116881051A

公开(公告)日：2023-10-13

申请号：CN202311142122.X

申请日：2023-09-06

Applicant: 天津神舟通用数据技术有限公司

Inventor： 王金海 ,  付秋颖 ,  刘碧楠 ,  张雷 ,  周勇亮 ,  王德鑫 ,  胡薇 ,  吴嵩

IPC: G06F11/14

Abstract: 本发明提供了一种数据备份与恢复方法、装置、电子设备和存储介质。该方法包括：在接收到备份指令的情况下，采集目标数据的表对象；根据表对象的表格信息，对表对象进行分片处理，获得N个数据片；调用N个备份线程并行对N个数据片进行数据备份处理，以将N个数据片备份至预设的数据库；在接收到恢复指令的情况下，并行调用N个恢复线程对数据库存储的备份文件进行数据恢复处理，获得N个数据片；对N个数据片进行合片处理，获得目标数据。本发明实施例中，通过并行调用大量线程的方式实现对海量数据的数据备份和数据恢复，这降低了数据备份和数据恢复的时间，进而提高了数据备份和数据恢复的效率。