负载调节方法、管理节点以及存储介质

    公开(公告)号:CN114143326A

    公开(公告)日:2022-03-04

    申请号:CN202111494350.4

    申请日:2021-12-08

    Abstract: 本申请提供一种负载调节方法、管理节点以及存储介质。该方法包括获取分布式数据系统中各个数据节点在未来时刻的负载值;当根据各个数据节点未来时刻的负载值确定各个数据节点的负载不均衡时,从各个数据节点中选择至少一个负载值满足高负载运行条件的数据节点为转移节点,并从各个数据节点中选择至少一个负载值满足低负载运行条件的数据节点或者选择新增节点为目标节点;对至少一个转移节点内多个数据片进行再分片处理获得多个子数据片,并将所述多个子数据片转移到至少一个目标节点内。本方案在进行负载监控时若确定数据节点负载不均衡时,进行数据片再次分割后再转移,可以消除负载不平衡问题。

    负载调节方法、管理节点以及存储介质

    公开(公告)号:CN114143326B

    公开(公告)日:2024-07-26

    申请号:CN202111494350.4

    申请日:2021-12-08

    Abstract: 本申请提供一种负载调节方法、管理节点以及存储介质。该方法包括获取分布式数据系统中各个数据节点在未来时刻的负载值;当根据各个数据节点未来时刻的负载值确定各个数据节点的负载不均衡时,从各个数据节点中选择至少一个负载值满足高负载运行条件的数据节点为转移节点,并从各个数据节点中选择至少一个负载值满足低负载运行条件的数据节点或者选择新增节点为目标节点;对至少一个转移节点内多个数据片进行再分片处理获得多个子数据片,并将所述多个子数据片转移到至少一个目标节点内。本方案在进行负载监控时若确定数据节点负载不均衡时,进行数据片再次分割后再转移,可以消除负载不平衡问题。

    业务数据的校验方法、装置、设备及存储介质

    公开(公告)号:CN111506578B

    公开(公告)日:2024-07-09

    申请号:CN202010309495.1

    申请日:2020-04-17

    Abstract: 本发明公开了一种业务数据的校验方法、装置、设备及存储介质,该方法通过获取第一数据库中的标准表数据,并根据预设数据量将所述标准表数据进行分片,生成所述标准表数据对应的各个分片表数据;获取所述分片表数据中的各个数据标识,并计算所述分片表数据对应的分片数据校验值;根据所述分片表数据中的各个数据标识以及所述分片表数据对应的分片数据校验值,对待校验第二数据库中的待校验表数据进行数据分片,并对分片后的待校验表数据进行数据校验。本发明将表数据进行分片校验,缩短了数据校验值的计算时间,并通过将表数据进行分片比对校验,避免全表数据校验影响数据库的对外服务,提高了数据校验效率。

    任务处理方法、装置、设备及计算机可读存储介质

    公开(公告)号:CN111400330B

    公开(公告)日:2024-04-09

    申请号:CN202010180590.6

    申请日:2020-03-13

    Inventor: 刘建波 黄蔚

    Abstract: 本发明公开了一种任务处理方法、装置、设备及计算机可读存储介质,涉及金融科技技术领域。该任务处理方法包括:每隔第一预设时间通过轮询线程开启第一事务;向目标数据库发送查询命令,得到第一返回结果,并根据所述第一返回结果判断是否存在指定类型且处于空闲状态的互斥锁;若存在指定类型且处于空闲状态的互斥锁,则向所述目标数据库发送第一更新命令,得到第二返回结果,并根据所述第二返回结果判断所述互斥锁是否已被锁定;若判定所述互斥锁未被锁定,则向所述目标数据库提交所述第一事务,以竞争获取互斥锁,并进行任务处理。本发明能够在不引入额外基础软件设施的基础上、基于TiDB乐观锁实现任务的竞争与互斥,可节省成本。

    一种数据同步方法及装置
    5.
    发明公开

    公开(公告)号:CN113157811A

    公开(公告)日:2021-07-23

    申请号:CN202110555379.2

    申请日:2021-05-21

    Abstract: 本发明涉及金融科技(Fintech)领域,公开一种数据同步方法及装置,第一同步组件获取第一单机数据库中第一数据表与分布式数据库中第二数据表之间的表结构映射关系;第一同步组件根据表结构映射关系,对第一单机数据库的第一日志文件中的第一记录信息进行修改,得到第二记录信息;第一记录信息中记录有第一数据表中待同步至第二数据表中的数据对象;第一同步组件根据第二记录信息,将数据对象同步至第二数据表中。该方式实现了灰度变更场景下无需暂停已经进行过表结构变更的单机数据库的数据同步行为,而是可在该数据同步过程中,同期实现还未进行过表结构变更的单机数据库在分布式数据库中的数据表结构的变更操作,提升了灰度变更场景下的同步效率。

    节点切换方法及系统
    6.
    发明公开

    公开(公告)号:CN106557543A

    公开(公告)日:2017-04-05

    申请号:CN201610899618.5

    申请日:2016-10-14

    CPC classification number: G06F17/30581 G06F11/1479

    Abstract: 本发明公开了一种节点切换方法,应用于同城生产集群中,所述同城生产集群包括主节点和备节点,所述主节点和所述备节点之间设置为数据同步方式,所述节点切换方法包括:在同城生产集群中有逻辑单元的主节点发生宕机时,确定与所述主节点关联的备节点;将所述逻辑单元从所述主节点切换至所述备节点中,以由所述备节点更新为主节点提供数据读写服务。本发明还公开了一种节点切换系统。本发明中的同城生产集群的主节点和备节点采用数据同步,即使主节点发生宕机,也可以快速切换至备节点中继续提供数据读写服务,避免了数据丢失的情况。

    任务处理方法、装置、设备及计算机可读存储介质

    公开(公告)号:CN111400330A

    公开(公告)日:2020-07-10

    申请号:CN202010180590.6

    申请日:2020-03-13

    Inventor: 刘建波 黄蔚

    Abstract: 本发明公开了一种任务处理方法、装置、设备及计算机可读存储介质,涉及金融科技技术领域。该任务处理方法包括:每隔第一预设时间通过轮询线程开启第一事务;向目标数据库发送查询命令,得到第一返回结果,并根据所述第一返回结果判断是否存在指定类型且处于空闲状态的互斥锁;若存在指定类型且处于空闲状态的互斥锁,则向所述目标数据库发送第一更新命令,得到第二返回结果,并根据所述第二返回结果判断所述互斥锁是否已被锁定;若判定所述互斥锁未被锁定,则向所述目标数据库提交所述第一事务,以竞争获取互斥锁,并进行任务处理。本发明能够在不引入额外基础软件设施的基础上、基于TiDB乐观锁实现任务的竞争与互斥,可节省成本。

    一种数据存储方法及装置
    8.
    发明公开

    公开(公告)号:CN111159292A

    公开(公告)日:2020-05-15

    申请号:CN201911330970.7

    申请日:2019-12-20

    Abstract: 本发明涉及金融科技(Fintech)领域,并公开了一种数据存储方法及装置,适用于包括至少两种不同类型服务器的分布式存储系统;确定待存储数据对应的各数据分片;针对每个数据分片,从第一类型的服务器中确定出作为存储数据分片的主导服务器,并从第二类型的服务器中确定出作为存储数据分片的跟随服务器;将数据分片存储至主导服务器并同步至跟随服务器。该方案通过确定第一类型的服务器作为主导服务器以及确定第二类型的服务器作为跟随服务器,从而可以将待存储数据对应的各数据分片存储至主导服务器以及同步至跟随服务器,实现了将待存储数据高效地存储于两种不同类型的服务器。

    业务数据的校验方法、装置、设备及存储介质

    公开(公告)号:CN111506578A

    公开(公告)日:2020-08-07

    申请号:CN202010309495.1

    申请日:2020-04-17

    Abstract: 本发明公开了一种业务数据的校验方法、装置、设备及存储介质,该方法通过获取第一数据库中的标准表数据,并根据预设数据量将所述标准表数据进行分片,生成所述标准表数据对应的各个分片表数据;获取所述分片表数据中的各个数据标识,并计算所述分片表数据对应的分片数据校验值;根据所述分片表数据中的各个数据标识以及所述分片表数据对应的分片数据校验值,对待校验第二数据库中的待校验表数据进行数据分片,并对分片后的待校验表数据进行数据校验。本发明将表数据进行分片校验,缩短了数据校验值的计算时间,并通过将表数据进行分片比对校验,避免全表数据校验影响数据库的对外服务,提高了数据校验效率。

    表结构修改方法、装置、设备及计算机可读存储介质

    公开(公告)号:CN110334097A

    公开(公告)日:2019-10-15

    申请号:CN201910559044.0

    申请日:2019-06-25

    Abstract: 本发明公开了一种表结构修改方法、装置、设备及计算机可读存储介质。该方法包括:在接收到表结构修改指令时,获取所述表结构修改指令中携带的结构化查询语言SQL文件;对所述SQL文件进行解析处理,得到所述SQL文件中各数据库模式定义语言DDL语句的表名及对应的执行命令;根据所述各DDL语句的表名确定所述表结构修改指令对应的修改类型,并根据所述修改类型确定对应的修改策略;基于所述修改策略、所述表名和所述执行命令对所述DDL语句进行处理,得到处理后的DDL语句,并调用预设工具执行所述处理后的DDL语句,以修改对应的表结构。本发明能解决现有的表结构修改过程较复杂、DDL执行效率较低的问题。

Patent Agency Ranking