数据库的数据处理方法、存储介质与设备

    公开(公告)号:CN116303525A

    公开(公告)日:2023-06-23

    申请号:CN202211574604.8

    申请日:2022-12-08

    Inventor: 王凯龙 冷建全

    Abstract: 本发明提供了一种数据库的数据处理方法、存储介质与设备,该数据处理方法包括对事务进行解析,得到解析结果;根据所述解析结果筛选得到待处理事务;根据所述待处理事务中的语句判断所述待处理事务是否为目标事务;对所述目标事务的预设位置增加预设处理标记,并进行打包;发送打包后的所述目标事务至目标端。本发明的数据库数据处理方法预先标记事务属性,使得在源端解析的过程中提前识别出包含预设处理标记的事务,标记在事务属性上,当此类事务传输到目标端时,目标端就可以根据该属性,选择比较快的入库方式,加快数据处理效率。

    数据库数据同步的方法、存储介质与设备

    公开(公告)号:CN116263780A

    公开(公告)日:2023-06-16

    申请号:CN202310250571.X

    申请日:2023-03-15

    Inventor: 王凯龙 冷建全

    Abstract: 本发明提供了一种数据库数据同步的方法、存储介质与设备。其中上述方法包括:启动整体调度程序;整体调度程序根据预设配置文件启动增量解析程序;增量解析程序获取源端数据库的数据变更日志并进行处理;调用独立程序接口根据数据变更日志对源端数据库中数据进行转换生成同步数据;根据同步数据生成增量中间文件;将增量中间文件传输至目标数据库进行读取入库。通过此方法,提升了数据转换的扩展灵活性,并且,在数据库中数据格式发生变化时,只需修改独立数据转换接口的转换逻辑,且不需要再次编译,减少了数据转换程序的逻辑复杂度。

    数据库同步数据的处理方法、存储介质与设备

    公开(公告)号:CN116244382A

    公开(公告)日:2023-06-09

    申请号:CN202310233870.2

    申请日:2023-03-03

    Inventor: 雷东 王凯龙 魏乾

    Abstract: 本发明提供了一种数据库同步数据的处理方法、存储介质与设备。其中上述方法包括:数据库对事务数据进行解析,并将断点信息保存至每条解析后的事务数据中;在事务数据中获取断点信息,并根据断点信息与LSN段找到待同步数据表集合;通过断点信息与待同步数据表集合在CD表中查找已变更目标数据行的更改操作信息,并进行同步。通过这种方法,避免了断点与数据分开存储会导致的不一致的问题,保证了多张CD表事件数据的有序性,并且断点信息中记录了处理时的唯一序列号,可以在处理任意行时提交断点。

    数据库系统的数据同步方法、存储介质及设备

    公开(公告)号:CN116204589A

    公开(公告)日:2023-06-02

    申请号:CN202310212879.5

    申请日:2023-03-06

    Inventor: 王凯龙 冷建全

    Abstract: 本发明提供了一种数据库系统的数据同步方法、存储介质及设备。数据库系统包括两个数据库,数据同步方法包括:在两个数据库创建相同的参照表;获取针对目标端数据库的待入库事务,其中,在一次数据同步过程中,两个数据库中待写入数据的一方作为目标端数据库;检测待入库事务包含的事务操作;若在事务操作中检测到针对参照表的操作,抛弃待入库事务。利用在事务中增加对参照表的操作的方式来对事务进行标记,可以避免一个事务被同步两次,也就是避免由一个数据库同步出去的事务再次回到自身,从而能够打断双向同步的循环同步,减小数据库系统资源浪费。

    数据同步错误处理方法、存储介质及设备

    公开(公告)号:CN116107583A

    公开(公告)日:2023-05-12

    申请号:CN202310066722.6

    申请日:2023-01-13

    Inventor: 魏乾 王凯龙 庞晖

    Abstract: 本发明提供了一种数据同步错误处理方法、存储介质及设备,数据同步错误处理方法包括:获取用于数据同步的多个事务;将多个事务以批量同步方式进行数据同步;接收每次批量操作的返回结果;若返回结果报错,获取批量操作中的出错事务;将出错事务回滚;以预设的错误处理策略重新处理出错事务。也就是说,在数据同步正常进行的情况下,数据库系统能够保持以批量同步方式进行数据同步,保证了数据同步的同步性能。在批量同步的同步过程中出现报错时,再采用在批量同步方式下无法实现的错误处理方法对出错事务进行单独处理,有助于保证较好的错误处理效果。

    数据库的增量数据同步方法、存储介质及设备

    公开(公告)号:CN116089536A

    公开(公告)日:2023-05-09

    申请号:CN202310271862.7

    申请日:2023-03-15

    Inventor: 王凯龙

    Abstract: 本发明提供了一种数据库的增量数据同步方法、存储介质及设备。该数据库的增量数据同步方法包括:获取在线日志的切换事件;将切换前使用的在线日志拷贝至预设的归档文件;从所述归档文件解析所述在线日志得到增量数据;将所述增量数据同步至目标数据库。本发明的优点是无需开启归档即可实现对增量数据的解析,有利于降低源端数据同步软件部署时的依赖复杂度。

    数据同步方法、装置、设备以及存储介质

    公开(公告)号:CN115221163A

    公开(公告)日:2022-10-21

    申请号:CN202210513133.3

    申请日:2022-05-12

    Inventor: 王凯龙 朱俊清

    Abstract: 本申请提供一种数据同步方法、装置、设备以及存储介质。该方法包括:响应于数据同步的触发事件,获取增量数据在第一数据库表中的第一主键,该第一主键的值位于第一数据库表的隐藏列,并根据该第一主键的值,从第二数据库表的至少一个主键中确定第二主键,该第一主键的值与该第二主键的值相同,再根据第二主键,确定第二数据库表中同步增量数据的位置,进而在位置同步所述增量数据。对上层应用而言为一种无主键表的第一数据库表,本申请对其进行数据同步时提高了数据同步效率。

    数据库系统的数据传输方法、设备、介质及产品

    公开(公告)号:CN118503330A

    公开(公告)日:2024-08-16

    申请号:CN202410634883.5

    申请日:2024-05-21

    Inventor: 魏乾 王凯龙

    Abstract: 本发明提供了一种数据库系统的数据传输方法、设备、介质及产品。数据库系统的数据传输方法包括:与目标端程序建立连接;获取并记录目标端程序的过滤条件;获取源端数据库的基础数据;根据过滤条件对基础数据进行筛选,得到待传输数据;将待传输数据传输至目标端程序。源端程序通过获取并记录目标端程序的过滤条件,可以直接利用存储好的过滤条件对数据进行筛选,然后源端程序再将筛选出的数据利用网络传输至目标端程序。因此,源端程序和目标端程序之间只需要利用网络传输目标端程序所需的部分数据,而无需将源端数据库的所有数据传输至目标端程序,有效地减小了网络资源占用。

    数据库系统的数据同步方法、设备、介质及产品

    公开(公告)号:CN118503329A

    公开(公告)日:2024-08-16

    申请号:CN202410634882.0

    申请日:2024-05-21

    Inventor: 魏乾 王凯龙

    Abstract: 本发明提供了一种数据库系统的数据同步方法、设备、介质及产品。数据库系统包括连接至同一个源端数据库的多个源端节点和连接至同一个目标端数据库的至少一个目标端节点,每个源端节点配置有源端同步程序和源端高可用程序。数据库系统的数据同步方法包括:源端同步程序启动后获取所在源端节点的工作节点名称;源端同步程序从所在源端节点的源端高可用程序读取上一次进行数据同步的源端节点的参照节点名称;若工作节点名称与参照节点名称不一致,从处于工作状态的目标端节点获取记录的数据断点信息;根据数据断点信息重新开启数据同步。源端节点之间可以相互接替工作,有效地减少了由于节点故障导致的同步停止时间。

    数据同步方法、存储介质、设备及计算机程序产品

    公开(公告)号:CN118467628A

    公开(公告)日:2024-08-09

    申请号:CN202410205429.8

    申请日:2024-02-23

    Inventor: 雷东 王凯龙

    Abstract: 本发明提供了一种数据同步方法、存储介质、设备及计算机程序产品。其中,数据同步方法包括:从初次解析的事务数据中提取事务ID和日志序列号,并将提取的事务ID和日志序列号存入缓冲器中;定期检查当前时刻与缓冲器中当前缓存事务的最早摄入时刻的差值是否大于预设阈值;若是,对缓冲器中的所有事务数据进行快照;生成本次快照的元信息,并将生成快照时缓冲器中的所有事务的最大日志序列号记为快照序列号。本发明的优点是可以有效减少解析长事务时软件异常恢复的时间,降低性能损耗。

Patent Agency Ranking