-
公开(公告)号:CN117992240A
公开(公告)日:2024-05-07
申请号:CN202410398004.3
申请日:2024-04-03
Applicant: 本原数据(北京)信息技术有限公司
Inventor: 王云龙
Abstract: 本申请实施例提供了一种数据处理方法、装置、计算机设备及存储介质,属于数据处理技术领域。获取待同步的多个日志表,按照预设采样周期对多个日志进行采样,以确定每个日志表包含的目标日志以及日志数量;基于每个日志表的日志数量,将多个日志表在多个回放线程之间进行负载均衡的模拟分配,得到候选分配方案;读取针对多个待同步的日志表的预设分配方案,并确定预设分配方案相对于候选分配方案的差异度;根据差异度,从候选分配方案和预设分配方案之间选取目标分配方案;按照目标分配方案,将每个日志表中的目标日志分配至对应的回放线程进行回放。以此,能够实现系统的负载均衡,提高系统的性能效果。
-
公开(公告)号:CN117992240B
公开(公告)日:2024-07-09
申请号:CN202410398004.3
申请日:2024-04-03
Applicant: 本原数据(北京)信息技术有限公司
Inventor: 王云龙
Abstract: 本申请实施例提供了一种数据处理方法、装置、计算机设备及存储介质,属于数据处理技术领域。获取待同步的多个日志表,按照预设采样周期对多个日志进行采样,以确定每个日志表包含的目标日志以及日志数量;基于每个日志表的日志数量,将多个日志表在多个回放线程之间进行负载均衡的模拟分配,得到候选分配方案;读取针对多个待同步的日志表的预设分配方案,并确定预设分配方案相对于候选分配方案的差异度;根据差异度,从候选分配方案和预设分配方案之间选取目标分配方案;按照目标分配方案,将每个日志表中的目标日志分配至对应的回放线程进行回放。以此,能够实现系统的负载均衡,提高系统的性能效果。
-
公开(公告)号:CN119248833A
公开(公告)日:2025-01-03
申请号:CN202411331423.1
申请日:2024-09-24
Applicant: 本原数据(北京)信息技术有限公司
Inventor: 王云龙
IPC: G06F16/2455 , G06F16/22 , G06F16/2453 , G06F12/02
Abstract: 本申请实施例提出了一种数据库缓存管理方法、数据库、设备及存储介质,该方法包括:在当前的刷脏周期中,获取缓冲数据空间中的第一数据块和第二数据块;获取第一数据块的第一数据数量以及第二数据块的第二数据数量,基于第一数据数量和第二数据数量确定第一刷脏参数;获取多个历史周期的历史刷脏数量,基于历史刷脏数量确定第二刷脏参数;获取各个第一数据块的数据序列号,基于数据序列号确定第三刷脏参数;根据第一刷脏参数、第二刷脏参数和第三刷脏参数确定目标刷脏参数;根据目标刷脏数量确定目标数据块,将目标数据块写入本地数据空间;本申请实施例能够对内存空间和读写性能进行优化,避免文件发生损坏。
-
-