-
公开(公告)号:CN119806391A
公开(公告)日:2025-04-11
申请号:CN202411700334.X
申请日:2024-11-26
Applicant: 本原数据(北京)信息技术有限公司
Abstract: 本申请实施例提出了一种基于数据库存算分离架构下的元数据异步刷盘方法,包括:接收共享存储节点中的目标元数据的修改指令,根据修改指令对目标元数据进行加锁处理,并在共享存储节点的共享内存中对目标元数据进行修改操作;构建目标元数据操作的数据日志,并将数据日志写入磁盘;将修改后的目标元数据拷贝到内存池中,并挂载到后台元数据刷盘线程的任务队列中,以及对修改后的目标元数据进行解锁处理;通过后台元数据刷盘线程根据任务队列中挂载的任务顺序,将内存池中的修改后的目标元数据进行刷盘操作;当完成修改后的目标元数据刷盘后,清空磁盘中的数据日志。本申请实施例减少元数据修改流程中锁的持有时间,减少锁冲突时间。
-
公开(公告)号:CN118672829B
公开(公告)日:2025-02-11
申请号:CN202411103775.1
申请日:2024-08-13
Applicant: 本原数据(北京)信息技术有限公司
IPC: G06F11/14 , G06F16/182
Abstract: 本申请实施例提供了一种数据库的预写式日志处理方法、系统恢复方法和相关设备,属于数据库管理领域。该方法包括:获取当前事务的日志全局序列号和数据页修改信息;若数据页修改信息表征当前事务涉及跨数据页修改,等待当前事务对应的预写式日志被日志写盘单元写入预设磁盘和所有日志全局序列号小于当前的日志全局序列号的预写式日志被对应的日志写盘单元写入磁盘,再将当前事务提交;若数据页修改信息表征当前事务没有涉及跨数据页修改,等待当前事务对应的预写式日志被对应的日志写盘单元写入磁盘,再将当前事务提交。本申请让日志落盘不成为系统的单点瓶颈,修改不同数据的事务执行单元独立提交事务,不用等待不相关的日志写盘单元写日志落盘。
-
公开(公告)号:CN119377244A
公开(公告)日:2025-01-28
申请号:CN202411274403.5
申请日:2024-09-12
Applicant: 本原数据(北京)信息技术有限公司
IPC: G06F16/242 , G06F16/2455 , G06F8/41
Abstract: 本申请提供了一种数据库查询方法、数据库查询装置、电子设备及存储介质,属于数据库技术领域,通过创建数据库查询请求的会话对象实例,在会话对象实例中开启目标线程,目标线程包括第一、第二线程,第一、第二线程为异步并行线程,通过第一线程,调用匹配器根据数据库查询请求对预设执行策略缓存进行查询,若从预设执行策略缓存中能够查询出数据库查询请求对应的目标执行策略,则通过第一线程调用执行器执行目标执行策略的同时,等待由第二线程生成的数据库查询请求的查询语法树,根据查询语法树对目标执行策略进行检测,若目标执行策略正确,则通过第一线程调用执行器继续执行目标执行策略,对预设数据库进行查询,能够提高数据库查询的效率。
-
公开(公告)号:CN117992240B
公开(公告)日:2024-07-09
申请号:CN202410398004.3
申请日:2024-04-03
Applicant: 本原数据(北京)信息技术有限公司
Inventor: 王云龙
Abstract: 本申请实施例提供了一种数据处理方法、装置、计算机设备及存储介质,属于数据处理技术领域。获取待同步的多个日志表,按照预设采样周期对多个日志进行采样,以确定每个日志表包含的目标日志以及日志数量;基于每个日志表的日志数量,将多个日志表在多个回放线程之间进行负载均衡的模拟分配,得到候选分配方案;读取针对多个待同步的日志表的预设分配方案,并确定预设分配方案相对于候选分配方案的差异度;根据差异度,从候选分配方案和预设分配方案之间选取目标分配方案;按照目标分配方案,将每个日志表中的目标日志分配至对应的回放线程进行回放。以此,能够实现系统的负载均衡,提高系统的性能效果。
-
公开(公告)号:CN117539650A
公开(公告)日:2024-02-09
申请号:CN202311308007.5
申请日:2023-10-10
Applicant: 本原数据(北京)信息技术有限公司
Inventor: 陈小双
Abstract: 本申请实施例提供了一种数据管理系统的去中心化记录锁管理方法以及相关设备,属于计算机技术领域。该方法应用于共享内存,方法包括:获取目标进程的目标数据信息、锁申请请求和持锁列表;根据目标数据信息从原始锁信息结构体筛选出目标锁信息结构体;根据目标锁信息结构体进行锁查找得到锁查找结果;若锁查找结果表征为目标进程未拥有锁,根据锁申请请求、持锁列表和目标锁信息结构体创建目标锁对象,将目标锁对象插入预设锁队列中;根据目标锁对象的锁类别对目标锁信息结构体修改得到更新锁信息结构体;根据更新锁信息结构体对自旋锁进行释放,以对共享内存中数据页上的数据执行目标操作。本申请实施例能够降低锁管理的开销,提高系统的并发度。
-
公开(公告)号:CN116820786B
公开(公告)日:2023-12-19
申请号:CN202311108662.6
申请日:2023-08-31
Applicant: 本原数据(北京)信息技术有限公司
Inventor: 刘博格
IPC: G06F9/50
Abstract: 本申请提出的数据库的数据访问方法和装置、电子设备、存储介质,涉及数据库技术领域。该方法包括:基于对所述数据库的查询请求,确定待分配协程任务,所述数据库包括多个分区;获取所述待分配协程任务对各个所述分区的目标访问次数;获取多个候选线程对各个所述分区的访问偏好度;基于所述目标访问次数和所述访问偏好度,预测所述待分配协程任务分配给所述候选线程的分配分数;基于所述分配分数,从多个所述候选线程确定目标线程;将所述待分配协程任务分配至所述目标线程,由所述目标线程基于所述待分配协程任务访问所述分区。本申请实施例提高了数据库的访问效率。
-
公开(公告)号:CN115774699B
公开(公告)日:2023-05-23
申请号:CN202310045920.4
申请日:2023-01-30
Applicant: 本原数据(北京)信息技术有限公司
IPC: G06F16/174 , G06F16/176 , G06F18/214
Abstract: 本申请实施例公开了一种数据库共享字典压缩方法、装置、电子设备及存储介质,涉及数据压缩技术领域,通过对数据页执行写入操作,将写入数据写入到数据行中,当写入数据达到预设阈值后利用其训练字典,然后在数据页中存储第一元数据,记录数据页和字典的映射关系,再将训练完成的字典存储到单独的字典文件中,最后根据映射关系从字典文件选取对应的字典对数据页的数据行的写入数据进行压缩,压缩过程中对第一元数据保持未压缩状态,从而有效减小了解压次数,采用少量写入数据训练字典,提升字典训练效率,并且以独立的文件存储字典,缓存到内存中便于查询及管理,有效提升了数据库性能。
-
公开(公告)号:CN115827660B
公开(公告)日:2023-05-12
申请号:CN202310112773.8
申请日:2023-02-14
Applicant: 本原数据(北京)信息技术有限公司
Abstract: 本申请公开了一种数据更新方法、装置、电子设备及非易失性存储介质。其中,该方法包括:确定待更新数据所在的数据区域,其中,数据区域包括:第一区域和第二区域,第一区域中数据的读取速率大于第二区域中数据的读取速率;在待更新数据位于第一区域的情况下,通过目标日志将待更新数据原位更新为目标数据;在待更新数据位于第二区域的情况下,通过目标日志将待更新数据异位更新为目标数据,并将目标数据添加至第一区域。本申请解决了由于相关技术中数据存储与更新方式不合理,造成的数据更新与处理效率低下的技术问题。
-
公开(公告)号:CN115757438B
公开(公告)日:2023-05-12
申请号:CN202310015649.X
申请日:2023-01-06
Applicant: 本原数据(北京)信息技术有限公司
IPC: G06F16/22
Abstract: 本申请实施例提供了一种数据库的索引节点处理方法和装置、计算机设备及介质,属于数据存储技术领域。该方法包括:获取内存页面的数据写入信息;其中,所述数据写入信息包括:页面信息和数据写入次数;根据所述页面信息从预设的原始索引节点中筛选出候选索引节点;根据所述数据写入次数和预设的写入次数阈值对所述候选索引节点进行分类处理,得到热门索引节点和冷门索引节点;将所述热门索引节点进行节点分裂处理,得到第一目标节点;将所述冷门索引节点进行节点合并处理,得到第二目标节点。本申请实施例能够减少节点竞争,且能够节省空间利用率,从而提升数据库的系统性能。
-
公开(公告)号:CN115827660A
公开(公告)日:2023-03-21
申请号:CN202310112773.8
申请日:2023-02-14
Applicant: 本原数据(北京)信息技术有限公司
Abstract: 本申请公开了一种数据更新方法、装置、电子设备及非易失性存储介质。其中,该方法包括:确定待更新数据所在的数据区域,其中,数据区域包括:第一区域和第二区域,第一区域中数据的读取速率大于第二区域中数据的读取速率;在待更新数据位于第一区域的情况下,通过目标日志将待更新数据原位更新为目标数据;在待更新数据位于第二区域的情况下,通过目标日志将待更新数据异位更新为目标数据,并将目标数据添加至第一区域。本申请解决了由于相关技术中数据存储与更新方式不合理,造成的数据更新与处理效率低下的技术问题。
-
-
-
-
-
-
-
-
-