-
公开(公告)号:CN115757438A
公开(公告)日:2023-03-07
申请号:CN202310015649.X
申请日:2023-01-06
Applicant: 本原数据(北京)信息技术有限公司
IPC: G06F16/22
Abstract: 本申请实施例提供了一种数据库的索引节点处理方法和装置、计算机设备及介质,属于数据存储技术领域。该方法包括:获取内存页面的数据写入信息;其中,所述数据写入信息包括:页面信息和数据写入次数;根据所述页面信息从预设的原始索引节点中筛选出候选索引节点;根据所述数据写入次数和预设的写入次数阈值对所述候选索引节点进行分类处理,得到热门索引节点和冷门索引节点;将所述热门索引节点进行节点分裂处理,得到第一目标节点;将所述冷门索引节点进行节点合并处理,得到第二目标节点。本申请实施例能够减少节点竞争,且能够节省空间利用率,从而提升数据库的系统性能。
-
公开(公告)号:CN115543970B
公开(公告)日:2023-03-03
申请号:CN202211503079.0
申请日:2022-11-29
Applicant: 本原数据(北京)信息技术有限公司
Inventor: 李传成
Abstract: 本申请提出的数据页处理方法、数据页处理装置、电子设备及存储介质,涉及数据库技术领域。该方法包括:获取待写入数据的数据量;根据所述数据量对所述空闲空间映射表进行搜索,得到选定数据页;其中,所述选定数据页用于表示:空闲空间大于或等于所述数据量的所述候选数据页;对所述选定数据页进行写锁处理,得到写锁结果;若所述写锁结果为写锁失败,则根据所述数据量和至少一个所述候选数据页对所述选定数据页进行切换。本申请实施例提高了对选定数据页的选取速度。
-
公开(公告)号:CN115391355B
公开(公告)日:2023-01-17
申请号:CN202211315468.0
申请日:2022-10-26
Applicant: 本原数据(北京)信息技术有限公司
IPC: G06F16/22 , G06F16/2455
Abstract: 本发明公开了一种数据处理方法、装置、设备及存储介质,数据处理方法包括:获取待存储数据;其中,待存储数据为当前待存储的时序数据,根据待存储数据获取预设的数据标识信息,若数据标识信息表征为真,将待存储数据存入预设缓存池,得到目标缓存池,获取目标缓存池的数据量,得到缓存数据量,若缓存数据量大于预设缓存阈值,获取目标缓存池缓存的时序数据,得到目标时序数据,根据目标时序数据进行拟合模型构建,得到数据拟合模型;其中,数据拟合模型表征时序数据随时间区间变化,根据预设的B+树存储规则将数据拟合模型和时间区间存储至预设存储数据库。本发明能够减少数据存储的占用空间,进而降低数据写入成本。
-
公开(公告)号:CN119357188A
公开(公告)日:2025-01-24
申请号:CN202411429436.2
申请日:2024-10-14
Applicant: 本原数据(北京)信息技术有限公司
IPC: G06F16/22
Abstract: 本申请实施例提供了一种数据读取方法和装置、电子设备、存储介质,属于数据库技术领域。该方法包括:基于初始数据表中候选区的区大小、预设索引字段数和预设索引类型确定对应的表级复合索引占用的第一页面数;基于第一页面数对候选区包含的页面划分确定第一页面数的索引页面和数据页面;基于区级别的预设布隆过滤器和预设双层稀疏索引构建表级复合索引,并将表级复合索引存储到索引页面;将候选区中全部候选页的字段数据存储到数据页面,并基于存储后的索引页面和数据页面构建候选区对应的目标区结构;基于同一初始数据表的多个目标区结构构建目标数据表,并基于目标数据表进行数据读取。本申请实施例能够提高数据库节点之间的数据读取效率。
-
公开(公告)号:CN118672829A
公开(公告)日:2024-09-20
申请号:CN202411103775.1
申请日:2024-08-13
Applicant: 本原数据(北京)信息技术有限公司
IPC: G06F11/14 , G06F16/182
Abstract: 本申请实施例提供了一种数据库的预写式日志处理方法、系统恢复方法和相关设备,属于数据库管理领域。该方法包括:获取当前事务的日志全局序列号和数据页修改信息;若数据页修改信息表征当前事务涉及跨数据页修改,等待当前事务对应的预写式日志被日志写盘单元写入预设磁盘和所有日志全局序列号小于当前的日志全局序列号的预写式日志被对应的日志写盘单元写入磁盘,再将当前事务提交;若数据页修改信息表征当前事务没有涉及跨数据页修改,等待当前事务对应的预写式日志被对应的日志写盘单元写入磁盘,再将当前事务提交。本申请让日志落盘不成为系统的单点瓶颈,修改不同数据的事务执行单元独立提交事务,不用等待不相关的日志写盘单元写日志落盘。
-
公开(公告)号:CN117992501B
公开(公告)日:2024-07-09
申请号:CN202410398007.7
申请日:2024-04-03
Applicant: 本原数据(北京)信息技术有限公司
IPC: G06F16/2455 , G06F16/28 , G06F16/23
Abstract: 本申请实施例提供了一种数据库集群脑裂预防方法、装置、电子设备及存储介质,属于数据库存储技术领域。该方法包括:获取共享存储信息;其中,共享存储信息用于反映数据库集群各个节点对应的节点特征;基于共享存储信息将数据库集群进行集群划分,得到集群分区信息;其中,集群分区信息用于表征各个集群分区的属性信息;基于集群分区信息对原始主节点所在的集群分区进行解析处理,得到主节点分区信息;基于集群分区信息和主节点分区信息进行脑裂预防。本申请实施例的数据库集群自身能够处理网络分区引起的脑裂故障,无需依赖第三方集群管理工具,减少系统复杂度的同时,可以降低与第三方集群管理工具相关的风险,提高数据库集群系统的稳定性。
-
公开(公告)号:CN117519964B
公开(公告)日:2024-06-18
申请号:CN202311346104.3
申请日:2023-10-17
Applicant: 本原数据(北京)信息技术有限公司
Inventor: 季亚斌
Abstract: 本申请实施例提供了一种数据库资源管理方法和系统、电子设备及存储介质,属于数据库技术领域。该方法包括:获取资源请求端的资源请求,并对资源请求进行内容解析,得到资源请求量;获取每一候选机器的可用资源量;获取可用资源量大于资源请求量的候选机器,得到选定机器;将选定机器的可用资源量和资源请求量进行差值计算,得到每一选定机器的资源剩余量;根据预设的资源调度策略和资源剩余量对每一选定机器进行筛选,得到目标机器;获取目标机器的属性参数,并根据属性参数和资源请求量创建部署任务,执行部署任务,以将资源请求量对应的数据库资源存放至目标机器。本申请实施例能够提高物理机资源的利用率。
-
公开(公告)号:CN117891815A
公开(公告)日:2024-04-16
申请号:CN202311811158.2
申请日:2023-12-26
Applicant: 本原数据(北京)信息技术有限公司
Inventor: 侯宗田
IPC: G06F16/22 , G06F16/245 , G06F9/52
Abstract: 本申请公开了数据库并行扫描方法、装置、电子设备及存储介质,涉及数据库技术领域。方法中首先获取数据库的数据索引树并创建多个扫描线程,数据索引树包括多个索引页面,索引页面按照页面编号有序存储,第一个扫描线程作为初始线程。利用初始线程获取同步锁,从索引页面中选取初始索引页面并确定预设数量,并对初始索引页面进行数据扫描,在进行数据扫描时,初始线程释放同步锁。然后基于初始索引页面的页面编号有序选取预设数量的索引页面作为目标索引页面,依次将目标索引页面的目标页面编号写入预设的共享参数中。在每次写入后,利用同步锁唤醒扫描线程,利用扫描线程对目标索引页面进行数据扫描,可以有效提升数据库查询扫描的效率。
-
公开(公告)号:CN117130871B
公开(公告)日:2024-04-05
申请号:CN202311399369.X
申请日:2023-10-26
Applicant: 本原数据(北京)信息技术有限公司
Inventor: 李传成
Abstract: 本申请公开了一种数据库日志的并行回放方法及装置、非易失性存储介质。其中,该方法包括:接收数据库主机发送的日志序列,其中,日志序列中包括多个预写日志,日志序列用于按照时间顺序记录数据库主机所属的数据库的操作信息,不同操作信息对应不同类型的预写日志,时间顺序根据操作信息对应的操作的发生时间确定;获取等待策略,其中,等待策略用于指示是否等待执行回放操作,不同类型的预写日志对应不同的等待策略;依据等待策略对日志序列执行并行回放操作。本申请解决了由于相关技术中对WAL日志并行回放的方法存在破坏快照的情况,造成的用户进行查询操作时需要长时间等待的技术问题。
-
公开(公告)号:CN117806815A
公开(公告)日:2024-04-02
申请号:CN202311595131.4
申请日:2023-11-27
Applicant: 本原数据(北京)信息技术有限公司
Inventor: 季亚斌
IPC: G06F9/50
Abstract: 本申请实施例提供了一种数据处理方法、系统、电子设备及存储介质。方法包括:响应于数据处理指令,确定待处理的多个第一数据运行单元;每个第一数据运行单元都有唯一对应的一个状态副本集;若数据处理指令为集群缩容指令,对每个第一数据运行单元获取至少一个预先设置的标签数据;基于至少一个标签数据确定第一数据运行单元的缩容优先级,并根据缩容优先级从多个第一数据运行单元中确定领导节点;保持领导节点不变,在除了领导节点之外,根据对应的缩容优先级的大小依次缩减其他的第一数据运行单元和对应的状态副本集。本申请能够使得缩容的过程按照指定的顺序进行,避免频繁对领导节点进行切换,保证在缩容过程中集群系统能够正常运行。
-
-
-
-
-
-
-
-
-