分布式数据库分片键更新方法、装置、设备和介质

    公开(公告)号:CN119149558A

    公开(公告)日:2024-12-17

    申请号:CN202411641333.2

    申请日:2024-11-18

    Abstract: 本发明提供了一种分布式数据库分片键更新方法、装置、设备和介质,可以应用于分布式数据库领域。该分布式数据库分片键更新方法包括:响应于接收到针对目标数据表的分片键更新指令,获取目标数据表中的目标数据以及目标数据的第一分片键值,并从分片键更新指令中确定第二分片键值;根据原存储节点和目标存储节点,生成针对目标数据的操作指示数据,其中,所述操作指示数据包括针对所述目标数据的待执行操作,所述待执行操作包括更新操作、删除操作或插入操作;根据操作指示数据,生成结构化查询语句;以及将结构化查询语句发送至与操作指示数据相匹配的待操作存储节点,其中,待操作存储节点包括原存储节点或目标存储节点。

    基于探测消息传递的分布式数据库事务死锁检测解锁方法

    公开(公告)号:CN114579669A

    公开(公告)日:2022-06-03

    申请号:CN202210484065.2

    申请日:2022-05-06

    Abstract: 本发明提供了一种基于探测消息传递的分布式数据库事务死锁检测解锁方法,第一事务连接的N1P1进程需要使用的数据库资源被N2P2进程持有时,N1P1进程等待第二事务,同时N1P1进程给N2P2进程发送探测消息;若N2P2进程在等待第三事务,则将探测消息发送给N3P3进程,若N3P3进程在等待第四事务,则将探测消息发送给N4P4进程,依次类推,直至探测消息发送至NKPK进程,NKPK进程若在等待第一事务,N1P1进程收到流转回来之前发出的探测信息,则检测出全局死锁。本发明所述的基于探测消息传递的分布式数据库事务死锁检测解锁方法,死锁检测消息只沿着相关等待方向传递,不存在单一集中式检测协调者节点进程,对其它进程影响较小,系统开销小,检测时间短。

    分布式数据库分片键更新方法、装置、设备和介质

    公开(公告)号:CN119149558B

    公开(公告)日:2025-04-22

    申请号:CN202411641333.2

    申请日:2024-11-18

    Abstract: 本发明提供了一种分布式数据库分片键更新方法、装置、设备和介质,可以应用于分布式数据库领域。该分布式数据库分片键更新方法包括:响应于接收到针对目标数据表的分片键更新指令,获取目标数据表中的目标数据以及目标数据的第一分片键值,并从分片键更新指令中确定第二分片键值;根据原存储节点和目标存储节点,生成针对目标数据的操作指示数据,其中,所述操作指示数据包括针对所述目标数据的待执行操作,所述待执行操作包括更新操作、删除操作或插入操作;根据操作指示数据,生成结构化查询语句;以及将结构化查询语句发送至与操作指示数据相匹配的待操作存储节点,其中,待操作存储节点包括原存储节点或目标存储节点。

    分布式数据库修改分片规则的方法、装置及电子设备

    公开(公告)号:CN118796948A

    公开(公告)日:2024-10-18

    申请号:CN202411275709.2

    申请日:2024-09-12

    Abstract: 本发明提供了一种分布式数据库修改分片规则的方法、装置及电子设备,可以应用于数据库领域。该方法包括:响应于检测到分片规则修改指令,确定与修改分片规则相关的原存储节点和新存储节点、以及原存储节点中待修改的第一数据表;获取分片规则修改参数;在确定分片规则修改参数为存储节点间修改的情况下,在新存储节点创建与第一数据表结构相同的第二数据表;通过插入语句,将第一数据表中的数据插入第二数据表,使得在原存储节点和新存储节点之间实现数据迁移;在系统表中交换第一数据表和第二数据表的存储路径和分片规则,以实现分布式数据库的在线分片规则修改。

    一种分布式数据库分布键的优选方法

    公开(公告)号:CN117435594B

    公开(公告)日:2024-04-16

    申请号:CN202311735374.3

    申请日:2023-12-18

    Inventor: 丁明峰 吴明远

    Abstract: 本发明提供了一种分布式数据库分布键的优选方法,包括:收集分布式数据库在运行期间执行的SQL语句和每条SQL的运行信息;记录分布式数据库中每张表的重分布代价以及非重分布代价,并记录与每张表相关联的候选键;根据收集的运行信息,对每条SQL的运行信息进行处理,计算出每张表中每个相关联的候选键的代价;对所有代价进行汇总,得出运行期间每张表各个候选键的总代价;选择每张表总代价最高的候选键作为最优分布键,并将最优分布键应用到分布式数据库中。本发明有益效果:解决了传统上依赖人工选择分布键的诸多弊端,大幅度提升了执行效率,解决了分布键不合理导致的性能问题。

    数据分片方法、装置、电子设备及存储介质

    公开(公告)号:CN116303343A

    公开(公告)日:2023-06-23

    申请号:CN202310059294.4

    申请日:2023-01-18

    Abstract: 本申请实施例公开了一种数据分片方法、装置、电子设备及存储介质。该方法包括:在数据节点数量发生变化的情况下,获取变化之前的第一节点数量、变化后的第二节点数量以及哈希桶的数量;基于所述第一节点数量和所述哈希桶数量确定变化前各数据节点对应的第一哈希桶分布数量,基于所述第二节点数量和所述哈希桶数量确定变化后各数据节点对应的第二哈希桶分布数量;基于所述第一哈希桶分布数量以及所述第二哈希桶分布数量为新增数据节点或者留存数据节点划分哈希桶,并将划分后的哈希桶与数据节点直接的映射关系更新至预设的数据路由映射表中;基于更新后的数据路由映射表中发生变化的映射关系进行数据分片的调整。数据迁移量大大减少。

    一种切分数据块的方法及装置

    公开(公告)号:CN115292373A

    公开(公告)日:2022-11-04

    申请号:CN202211224109.4

    申请日:2022-10-09

    Inventor: 吴明远 李龙

    Abstract: 本发明提供的一种切分数据块的方法及装置,根据加载文件数据大小及加载所述加载文件的节点个数确定各个节点的加载信息,所述节点基于加载信息内的偏移地址确定从加载文件中加载数据的起始位置,并进行数据加载;根据所述数据加载过程中的统计信息判断该节点加载是否结束,并判断缓冲数据的缓冲区所缓冲的数据量是否超过设定阈值,若加载结束或超过设定阈值则进行缓冲区切换;将临时缓存在缓冲区的数据存储至所述节点对应的存储位置,可以同时进行多个节点的数据缓存,充分调用多个计算节点并行加载数据。

    基于探测消息传递的分布式数据库事务死锁检测解锁方法

    公开(公告)号:CN114579669B

    公开(公告)日:2022-08-30

    申请号:CN202210484065.2

    申请日:2022-05-06

    Abstract: 本发明提供了一种基于探测消息传递的分布式数据库事务死锁检测解锁方法,第一事务连接的N1P1进程需要使用的数据库资源被N2P2进程持有时,N1P1进程等待第二事务,同时N1P1进程给N2P2进程发送探测消息;若N2P2进程在等待第三事务,则将探测消息发送给N3P3进程,若N3P3进程在等待第四事务,则将探测消息发送给N4P4进程,依次类推,直至探测消息发送至NKPK进程,NKPK进程若在等待第一事务,N1P1进程收到流转回来之前发出的探测信息,则检测出全局死锁。本发明所述的基于探测消息传递的分布式数据库事务死锁检测解锁方法,死锁检测消息只沿着相关等待方向传递,不存在单一集中式检测协调者节点进程,对其它进程影响较小,系统开销小,检测时间短。

    一种分布式数据库中全局对象的管理方法

    公开(公告)号:CN119760026A

    公开(公告)日:2025-04-04

    申请号:CN202510251758.0

    申请日:2025-03-05

    Inventor: 吴明远 张益 王薇

    Abstract: 本申请提供了一种分布式数据库中全局对象的管理方法,所述方法包括:接收分布式数据库中代理模块发送的全局对象请求包,全局对象请求包是由计算节点或数据节点发起的全局对象请求经过所述代理模块进行封装得到的。基于所述全局对象请求的请求类型生成对应于所述全局对象请求包的应答包。将所述应答包返回至发起所述全局对象请求的计算节点或数据节点,并将所述应答包中对应的全局对象保存在存储模块中。基于所述应答包中对应的全局对象对所述存储模块中的历史全局对象进行更新得到更新后全局对象,所述更新后全局对象被同时保存至内存或磁盘中。本申请提供的方法可以高效的对全局对象进行管理。

    一种用于分布式数据库的数据批量插入方法

    公开(公告)号:CN118332010B

    公开(公告)日:2024-10-11

    申请号:CN202410755952.8

    申请日:2024-06-13

    Abstract: 本发明提供了一种用于分布式数据库的数据批量插入方法,客户端构建并发送包含参数化SQL语句的P消息至数据库,数据库接收P消息后解析其SQL语句,并生成对应的查询树,该查询树被缓存到本地;客户端向数据库发送U消息,数据库利用查询树解析U消息中的数据,使用数据的分片键字段和hash函数确定目标数据节点,进行路由计算;数据库将根据hash值将同一数据节点的数据组打包到新的U消息中,并将此U消息批量发送到对应的数据节点中进行数据插入;遍历T2中所有已确定的数据节点以批量接收插入的U消息,完成数据插入过程。本发明有益效果:显著提升批量数据插入的效率和系统响应速度。

Patent Agency Ranking