-
公开(公告)号：CN117131069B
公开(公告)日：2023-12-22
申请号：CN202311398767.X
申请日：2023-10-26
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/242 , G06F16/22 , G06F16/2455
Abstract: 本发明公开一种数据库单表分组扫描方法，包括：步骤S1：在SQL语句中提供分组数量和当前要获取的分组序号；步骤S2：启动分组扫描begin阶段，得到当前页面；步骤S3：启动分组扫描next阶段，从分组扫描获取PFS页面；步骤S4：分组扫描返回有效PFS页面则执行步骤S6，否则执行步骤S5；步骤S5：分组扫描已经结束，结束堆扫描；步骤S6：当前PFS页面是否存在下一个有效范围，是则继续，否则执行步骤S3；步骤S7获取有效范围，解析8个页面上的所有行，并将所有行放到待发送缓冲区；步骤S8将缓冲区中的数据发送给前端，并回到步骤S6。本发明对表中数据进行跳跃式分组访问为并行获取数据库单表数据提供支撑。
-
公开(公告)号：CN117149885A
公开(公告)日：2023-12-01
申请号：CN202311422024.1
申请日：2023-10-31
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/25 , G06F16/23 , G06F16/242 , G06F16/2458 , G06F16/27
Abstract: 本发明公开了一种基于数据库主节点转发的读写分离实现方法，包括：步骤1：数据库主节点接收应用程序发送过来的SQL语句；步骤2：对SQL语句进行语法解析和语义分析，获得SQL语句类型以及操作的对象ID；步骤3：判断SQL语句是否为只读操作；步骤4：如果是，将SQL语句发送到从节点执行，等待接收到从节点执行结果后返回客户端；否则，直接在主节点执行SQL语句，将执行结果返回客户端；步骤5：如果不是，在主节点执行SQL语句；记录SQL语句更新的所有对象的ID；事务提交时，将本事务更新过的所有对象ID对应的LSN设置为本事务的提交LSN，供后续只读语句执行到步骤4时使用。因此主数据库可以专注于处理写操作，从而提高了写操作的性能和响应时间。
-
公开(公告)号：CN117131069A
公开(公告)日：2023-11-28
申请号：CN202311398767.X
申请日：2023-10-26
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/242 , G06F16/22 , G06F16/2455
Abstract: 本发明公开一种数据库单表分组扫描方法，包括：步骤S1：在SQL语句中提供分组数量和当前要获取的分组序号；步骤S2：启动分组扫描begin阶段，得到当前页面；步骤S3：启动分组扫描next阶段，从分组扫描获取PFS页面；步骤S4：分组扫描返回有效PFS页面则执行步骤S6，否则执行步骤S5；步骤S5：分组扫描已经结束，结束堆扫描；步骤S6：当前PFS页面是否存在下一个有效范围，是则继续，否则执行步骤S3；步骤S7获取有效范围，解析8个页面上的所有行，并将所有行放到待发送缓冲区；步骤S8将缓冲区中的数据发送给前端，并回到步骤S6。本发明对表中数据进行跳跃式分组访问为并行获取数据库单表数据提供支撑。
-
公开(公告)号：CN116910099B
公开(公告)日：2023-11-17
申请号：CN202311139421.8
申请日：2023-09-06
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/2455 , G06F16/22 , G06F16/2453 , G06F16/2458
Abstract: 本申请公开了一种数据处理方法、装置、设备及介质，数据处理方法包括：获取各第一数据单元和各第二数据单元，其中，各第一数据单元和各第二数据单元分别由第一数据集和第二数据集中的目标数据得到；对各第一数据单元和各第二数据单元执行条件过滤操作，根据第一关联条件对经条件过滤操作后剩余的各第一数据单元和各第二数据单元进行关联过滤操作；对经关联过滤操作后剩余的各第一数据单元执行重组操作，得到各第一数据单元集；根据第一数据单元集对经关联过滤操作后剩余的各第二数据单元执行重组操作，得到各第二数据单元集；其中，各第一数据单元集无交集；对具有映射关系的第一数据单元集和第二数据单元集执行数据处理操作，得到数据处理结果。
-
公开(公告)号：CN117435629A
公开(公告)日：2024-01-23
申请号：CN202311733338.3
申请日：2023-12-18
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/2455 , G06F16/2453 , G06F16/28
Abstract: 本发明公开一种数据处理方法、装置、设备及介质，包括：将初始数据划分为若干个行组单元，将由各行组单元按列压缩得到的各压缩单元进行存储；行组单元包含初始数据中的多行数据，压缩单元所包含数据通过压缩单元所对应的索引项表示；若压缩单元中的数据需要更新，则将发生更新的各行数据按行存储形式存储到该压缩单元对应的更新数据单元；根据数据查询指令确定待查询的数据列；根据压缩单元对应的索引项确定压缩单元是否可过滤；若存在与压缩单元对应的更新数据单元，根据压缩单元的过滤情况或压缩单元中待查询的数据列是否发生过更新，确定压缩单元对应的更新数据单元是否可过滤；从不可过滤的压缩单元和不可过滤的更新数据单元中查询目标数据。
-
Patent Agency Ranking
公开(公告)号：CN116996505B
公开(公告)日：2023-12-15
申请号：CN202311252984.8
申请日：2023-09-27
Applicant: 天津神舟通用数据技术有限公司
IPC: H04L67/06 , H04L67/288 , H04L67/56 , H04L67/60
Abstract: 本发明提供一种基于调度引擎的文件交换控制方法和系统，包括：定义文件交换任务，向调度引擎中的API节点发送启动文件交换任务请求；调度引擎中的API节点收到任务请求后，生成启动任务的调度命令；调度引擎中的多个调度节点轮询调度命令；当某个调度节点捕获到调度命令后，对调度命令加上分布式锁，阻止其他调度节点获取；该调度节点选择一个执行节点，向该执行节点发送文件交换任务指令；执行节点接收到任务指令后，对任务信息进行解析，获取任务类型，以及任务指定的交换节点，向交换节点发送文件交换请求；交换节点对待交换的文件进行切片后，根据并发数设置，调用文件交换服务并发交换文件；服务端并发接收并存储文件。
-
公开(公告)号：CN116881051B
公开(公告)日：2023-12-08
申请号：CN202311142122.X
申请日：2023-09-06
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F11/14
Abstract: 本发明提供了一种数据备份与恢复方法、装置、电子设备和存储介质。该方法包括：在接收到备份指令的情况下，采集目标数据的表对象；根据表对象的表格信息，对表对象进行分片处理，获得N个数据片；调用N个备份线程并行对N个数据片进行数据备份处理，以将N个数据片备份至预设的数据库；在接收到恢复指令的情况下，并行调用N个恢复线程对数据库存储的备份文件进行数据恢复处理，获得N个数据片；对N个数据片进行合片处理，获得目标数据。本发明实施例中，通过并行调用大量线程的方式实现对海量数据的数据备份和数据恢复，这降低了数据备份和数据恢复的时间，进而提高了数据备份和数据恢复的效率。
-
公开(公告)号：CN117131058A
公开(公告)日：2023-11-28
申请号：CN202311369907.0
申请日：2023-10-23
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/22 , G06F9/50 , G06F16/242
Abstract: 本发明公开一种基于数据分片的并行对比数据库表数据的方法，本发明涉及数据对比领域，设置对应的线程池和两端数据库，所述两端数据库用于储存相关的数据信息；通过线程池采集两端数据库中需要对比的数据信息，生成表对任务；分析表对任务是否需要进行分片处理，根据分析结果对其进行分片处理；将分片处理的数据进行拼接整合，组成新的任务对；将所组成的任务对通过线程池进行查询，根据查询结果组成数据对任务；设置数据对比引擎，将数据对任务通过数据对比引擎进行对比分析，输出对比结果；本发明的有益效果为在一定程度上降低了数据量的粒度，提高了并行度和对比效率。
-
公开(公告)号：CN116996505A
公开(公告)日：2023-11-03
申请号：CN202311252984.8
申请日：2023-09-27
Applicant: 天津神舟通用数据技术有限公司
IPC: H04L67/06 , H04L67/288 , H04L67/56 , H04L67/60
Abstract: 本发明提供一种基于调度引擎的文件交换控制方法和系统，包括：定义文件交换任务，向调度引擎中的API节点发送启动文件交换任务请求；调度引擎中的API节点收到任务请求后，生成启动任务的调度命令；调度引擎中的多个调度节点轮询调度命令；当某个调度节点捕获到调度命令后，对调度命令加上分布式锁，阻止其他调度节点获取；该调度节点选择一个执行节点，向该执行节点发送文件交换任务指令；执行节点接收到任务指令后，对任务信息进行解析，获取任务类型，以及任务指定的交换节点，向交换节点发送文件交换请求；交换节点对待交换的文件进行切片后，根据并发数设置，调用文件交换服务并发交换文件；服务端并发接收并存储文件。
-
公开(公告)号：CN116881051A
公开(公告)日：2023-10-13
申请号：CN202311142122.X
申请日：2023-09-06
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F11/14
Abstract: 本发明提供了一种数据备份与恢复方法、装置、电子设备和存储介质。该方法包括：在接收到备份指令的情况下，采集目标数据的表对象；根据表对象的表格信息，对表对象进行分片处理，获得N个数据片；调用N个备份线程并行对N个数据片进行数据备份处理，以将N个数据片备份至预设的数据库；在接收到恢复指令的情况下，并行调用N个恢复线程对数据库存储的备份文件进行数据恢复处理，获得N个数据片；对N个数据片进行合片处理，获得目标数据。本发明实施例中，通过并行调用大量线程的方式实现对海量数据的数据备份和数据恢复，这降低了数据备份和数据恢复的时间，进而提高了数据备份和数据恢复的效率。
-
-
-
-
-
-
-
-
-
Search Results
14
records
(took 0.041 seconds)
