数据分片方法、装置、电子设备及存储介质

    公开(公告)号:CN116303343A

    公开(公告)日:2023-06-23

    申请号:CN202310059294.4

    申请日:2023-01-18

    Abstract: 本申请实施例公开了一种数据分片方法、装置、电子设备及存储介质。该方法包括:在数据节点数量发生变化的情况下,获取变化之前的第一节点数量、变化后的第二节点数量以及哈希桶的数量;基于所述第一节点数量和所述哈希桶数量确定变化前各数据节点对应的第一哈希桶分布数量,基于所述第二节点数量和所述哈希桶数量确定变化后各数据节点对应的第二哈希桶分布数量;基于所述第一哈希桶分布数量以及所述第二哈希桶分布数量为新增数据节点或者留存数据节点划分哈希桶,并将划分后的哈希桶与数据节点直接的映射关系更新至预设的数据路由映射表中;基于更新后的数据路由映射表中发生变化的映射关系进行数据分片的调整。数据迁移量大大减少。

    一种实现数据库审计记录推理能力的方法

    公开(公告)号:CN116204875A

    公开(公告)日:2023-06-02

    申请号:CN202310498848.0

    申请日:2023-05-06

    Inventor: 贾欣泉

    Abstract: 本申请提供一种实现数据库审计记录推理能力的方法,属于计算机应用领域,包括:数据库管理系统内部预置一系列四元组,以描述审计事件源各概念间的关系,审计事件影响对象各概念间的关系;当数据库服务器识别出审计事件时,采用所述四元组记录审计事件源实体、审计事件影响对象实体、审计事件源实体的属性、审计事件影响对象实体的属性和实体之间的关系;采用四元组审计记录模型,从已知审计事件事实,推断出新的事实。本申请采用四元组保存完整的审计记录,构建推理能力的基础,随着数据库服务器运行,审计记录不断积累;随着审计分析开展,训练样本不断丰富,从而持续提升审计记录推理能力,检测针对数据库服务器的安全威胁。

    一种MPP数据库实现高可用的方法

    公开(公告)号:CN115543971A

    公开(公告)日:2022-12-30

    申请号:CN202211504245.9

    申请日:2022-11-29

    Inventor: 姜骁 李晨光

    Abstract: 本发明提供了一种MPP数据库实现高可用的方法,计算节点与存储系统完全分离,计算节点通过虚拟块设备连接存储系统,执行SQL命令时查询计算实例状态,判断计算实例是否可用,如果计算实例可用,执行SQL命令,如果计算实例不可用,将故障实例迁移到正常的计算节点上运行。本发明有益效果:使用了数据库在发生故障时迁移节点的方式,达到了不影响用户使用的效果,提高了系统容灾能力。

    一种切分数据块的方法及装置

    公开(公告)号:CN115292373A

    公开(公告)日:2022-11-04

    申请号:CN202211224109.4

    申请日:2022-10-09

    Inventor: 吴明远 李龙

    Abstract: 本发明提供的一种切分数据块的方法及装置,根据加载文件数据大小及加载所述加载文件的节点个数确定各个节点的加载信息,所述节点基于加载信息内的偏移地址确定从加载文件中加载数据的起始位置,并进行数据加载;根据所述数据加载过程中的统计信息判断该节点加载是否结束,并判断缓冲数据的缓冲区所缓冲的数据量是否超过设定阈值,若加载结束或超过设定阈值则进行缓冲区切换;将临时缓存在缓冲区的数据存储至所述节点对应的存储位置,可以同时进行多个节点的数据缓存,充分调用多个计算节点并行加载数据。

    一种在列存储引擎中按列动态分组存储的方法

    公开(公告)号:CN114706861B

    公开(公告)日:2022-09-16

    申请号:CN202210638950.1

    申请日:2022-06-08

    Abstract: 本发明提供了一种在列存储引擎中按列动态分组存储的方法,将数据表中所有列数据按照预设的行数切分成若干个DC行,按照顺序进行编号,同时生成对应的描述信息BSI。将描述信息存储到元数据中;数据按照列分组定义进行切分,分别存储到不同的数据文件中;读取数据时,存储单元首先预加载数据表的元数据信息,基于元数据找到对应的数据文件,读取对应的数据块。本发明所述的一种在列存储引擎中按列动态分组存储的方法,在通过列分组在写入数据时规避写放大问题,在读取数据时解决读放大问题,进而提升列存数据库的读写性能。

    基于探测消息传递的分布式数据库事务死锁检测解锁方法

    公开(公告)号:CN114579669B

    公开(公告)日:2022-08-30

    申请号:CN202210484065.2

    申请日:2022-05-06

    Abstract: 本发明提供了一种基于探测消息传递的分布式数据库事务死锁检测解锁方法,第一事务连接的N1P1进程需要使用的数据库资源被N2P2进程持有时,N1P1进程等待第二事务,同时N1P1进程给N2P2进程发送探测消息;若N2P2进程在等待第三事务,则将探测消息发送给N3P3进程,若N3P3进程在等待第四事务,则将探测消息发送给N4P4进程,依次类推,直至探测消息发送至NKPK进程,NKPK进程若在等待第一事务,N1P1进程收到流转回来之前发出的探测信息,则检测出全局死锁。本发明所述的基于探测消息传递的分布式数据库事务死锁检测解锁方法,死锁检测消息只沿着相关等待方向传递,不存在单一集中式检测协调者节点进程,对其它进程影响较小,系统开销小,检测时间短。

    一种灵活扩展数据库字段的方法

    公开(公告)号:CN114461685B

    公开(公告)日:2022-07-01

    申请号:CN202210387220.9

    申请日:2022-04-14

    Inventor: 崔杰

    Abstract: 本发明提供了一种灵活扩展数据库字段的方法,查询语句方法与普通语句查询相同,从数据库文件中读取时,普通字段从数据库文件中读取,扩展字段从数据库文件中读取地址信息,再通过地址信息从二级缓存或大数据存储介质中,调取字段数据,实现了对普通数据大小限制的字段的有效扩展,使普通数据字段也具有了无限扩展的可能;实现数据字段灵活扩展,同时使客户能够无感进行字段数据操作。本发明所述的一种灵活扩展数据库字段的方法,扩展普通字段上限存储,从而最终达到高度有效地满足用户对业务数据的无感存取。

    一种泛化数据仓库
    98.
    发明公开

    公开(公告)号:CN114647716A

    公开(公告)日:2022-06-21

    申请号:CN202210516778.2

    申请日:2022-05-13

    Abstract: 本发明提供了一种泛化数据仓库,在传统数据仓库技术基础上设计了:虚拟数据对象、实时数据处理、跨引擎统一数据查询;虚拟数据对象类似数据视图,虚拟数据对象能够与多源异构数据源及其它虚拟对象建立映射关系;实时数据处理在传统数据仓库批数据处理分析的基础上增加实时数据操作区,对增量数据进行实时处理;跨引擎统一数据查询具备异构数据库查询能力,支持多种数据库查询引擎及非结构化数据查询引擎。本发明所述的一种泛化数据仓库,总体上通过数据服务层、数据加工层及数据基础层三个逻辑层及实时数据操作区架构形式,实现了数据仓库的泛化能力,扩展了数据仓库对大数据的适应性。

    一种用于分布式事务型数据库的片区逻辑时钟方法

    公开(公告)号:CN114362870A

    公开(公告)日:2022-04-15

    申请号:CN202111591907.6

    申请日:2021-12-23

    Abstract: 本发明提供了一种用于分布式事务型数据库的片区逻辑时钟方法,为了提供比分布数据节点更准确的物理时钟服务,同时考虑均衡服务的需要,将分布式事务型数据库集群划分多个片区,每个片区都设立一个片区时钟服务节点,用于为片区内所有节点提供统一的物理时钟服务,包括片区时钟,所述片区时钟用于为分布式事务型数据库提供全局的时钟服务,同时片区时钟用于记录全局的事件发生时间。本发明有益效果:一种用于分布式事务型数据库的片区逻辑时钟方法,提供一种分布与集中相结合的片区时钟,为分布式事务型数据库提供时钟服务,同时兼备集中式和分布式时钟的优点,弥补了集中式和分布式时钟的不足。

    一种自动化部署gbase8s集群的方法

    公开(公告)号:CN113934711B

    公开(公告)日:2022-03-15

    申请号:CN202111537733.5

    申请日:2021-12-16

    Abstract: 本发明提供了一种自动化部署gbase8s集群的方法,包括以下步骤:S1、部署gbase8s‑controller和gbase8s pod,并通过CRD把gbase8s集群资源注册为kubernetes管理的资源;S2、在步骤S1部署gbase8s‑controller后,gbase8s‑controller初始化时向api‑server订阅gbase8s‑cluster消息,gbase8s‑cluster消息为gbase8s集群资源的消息。本发明有益效果:一种自动化部署gbase8s集群的方法,只要简单的写一下配置文件,集群名称、节点个数,就能在kubernetes中快速部署gbase8s集群,省去人工部署的麻烦。

Patent Agency Ranking