数据同步方法、装置、设备和计算机可读存储介质

    公开(公告)号:CN114996286A

    公开(公告)日:2022-09-02

    申请号:CN202210678525.5

    申请日:2022-06-16

    Abstract: 本发明提供一种数据同步方法、装置、设备和计算机可读存储介质,包括:读取一条日志信息,并获取日志信息的对象标识符;根据日志信息的对象标识符确定日志信息对应的表名;根据表名确定是否对日志信息对应的数据进行同步;在确定对日志信息对应的数据进行同步时,根据日志信息获取待同步的数据,并将待同步的数据同步至目标终端。本发明中,每读取一条日志信息,则判断该日志信息是否需要进行同步,避免从大量的数据中抽取同步数据,极大的减少了装置中关键资源的消耗量,缩短了数据的同步时长,且避免了数据同步导致装置的时延过大。

    提升数据同步性能的方法及装置
    22.
    发明公开

    公开(公告)号:CN114254043A

    公开(公告)日:2022-03-29

    申请号:CN202111552290.7

    申请日:2021-12-17

    Inventor: 王凯龙

    Abstract: 本公开提供了一种提升数据同步性能的方法,涉及数据同步技术领域。所述方法包括:根据第一配置参数确定是否预先加载源端数据库的数据字典;所述第一配置参数用于指示是否开启预先加载功能;所述数据字典包括所述源端数据库的系统表的属性信息;若是,则根据第二配置参数构建中间数据库;所述中间数据库用于存储源端数据库的数据字典;所述第二配置参数用于指示所述中间数据库缓存数据的内存大小;根据所述中间数据库获取所述源端数据库的系统表的属性信息。采用本方法能够在有效减少数据同步服务器和源端数据库交互次数的前提下,提高数据同步时的数据解析性能。

    读取裸设备的方法、装置、计算机设备和介质

    公开(公告)号:CN114253523A

    公开(公告)日:2022-03-29

    申请号:CN202111551867.2

    申请日:2021-12-17

    Inventor: 王凯龙

    Abstract: 本公开涉及一种读取裸设备的方法、装置、计算机设备和介质;其中,该方法包括:将根据第一编程语言编写的针对裸设备的操作函数文件进行编译,得到对应的动态库文件;根据第二编程语言,对动态库文件进行封装,得到封装后的文件,其中,第二编程语言和第一编程语言不相同;根据动态库文件和封装后的文件对裸设备进行读取,得到对应的数据。本公开实施例通过第一编程语言和第二程语言的联合使用,无需借助其他设备,能够直接对裸设备进行读取。

    数据库同步的初始化装载方法、装置、设备和存储介质

    公开(公告)号:CN112231409A

    公开(公告)日:2021-01-15

    申请号:CN202011144072.5

    申请日:2020-10-23

    Inventor: 王凯龙 黄海峰

    Abstract: 本公开实施例公开了一种数据库同步的初始化装载方法、装置、设备和存储介质。该方法包括:获取源端数据库中日志的当前活动SCN,并向源端数据同步服务发送同步暂停请求,以控制源端数据同步服务在当前活动SCN处暂停日志解析操作;将源端数据库中待装载的表数据封装为源端数据同步服务对应的目标数据格式,并将封装后的待装载的表数据插入源端数据同步服务对应的同步文件中;向源端数据同步服务发送同步恢复请求,以使源端数据同步服务将同步文件发送至目标端数据库。实现了将待装载的表数据插入数据同步的同步文件中,从而利用数据库中增量数据的同步机制,将源端数据库中待装载的表数据同步至目标端数据库。

    PostgreSQL数据库的DDL同步方法、装置、设备和介质

    公开(公告)号:CN112231407A

    公开(公告)日:2021-01-15

    申请号:CN202011137351.9

    申请日:2020-10-22

    Inventor: 王凯龙

    Abstract: 本公开实施例公开了一种PostgreSQL数据库的DDL同步方法、装置、设备和介质。该方法包括:在源端PostgreSQL数据库中创建辅助表,用于记录数据库中产生的DDL语句;基于源端PostgreSQL数据库的事件触发器机制,捕获执行的DDL语句和DDL生效路径,并将其插入辅助表中,生成相应DML操作的日志信息;基于日志信息中的DML操作的操作对象是否为辅助表,将DML操作转换为DDL语句或DML语句,且将转换的DDL语句或DML语句封装为相应的同步对象;将同步对象发送至目标端数据同步服务,完成PostgreSQL数据库的DDL同步。实现了基于源端PostgreSQL数据库的事件触发器机制,自动捕获数据库中执行的DDL语句,并通过INSERT操作将其转换为DML操作存入日志,使得PostgreSQL数据库间接记录了DDL操作,从而使得PostgreSQL数据库具备DDL同步功能。

    数据库的数据同步方法、设备、介质及产品

    公开(公告)号:CN118312567A

    公开(公告)日:2024-07-09

    申请号:CN202410551919.3

    申请日:2024-05-06

    Inventor: 李佳洛 王凯龙

    Abstract: 本发明提供了一种数据库的数据同步方法、设备、介质及产品。数据库的数据同步方法包括:从源端读取目标数据文件;检测到目标数据文件的读取等待时间达到设定时间阈值;读取所有已收到的数据文件;获取目标数据文件的标记号,记为目标标记号;根据目标标记号在所有数据文件中查找目标数据文件;若未查找到目标数据文件,输出告警信息。通过对数据文件的读取时间进行监测来实现读取异常的感知,在读取异常时及时输出告警信息,并在输出告警信息前增加了一个读取所有数据文件并查找目标数据文件的缓冲时间,从而避免过于频繁地发出告警信息或者发出无效的告警信息。

    测试方法、装置、电子设备、存储介质及程序产品

    公开(公告)号:CN118193380A

    公开(公告)日:2024-06-14

    申请号:CN202410309971.8

    申请日:2024-03-18

    Inventor: 唐梨 王凯龙

    Abstract: 本申请提供一种测试方法、装置、电子设备、存储介质及程序产品。测试方法包括:接收测试指令,并运行与目标功能对应的测试用例。根据目标数据库系统的标识,调用数据库系统类进行初始化操作,以得到目标数据库节点的实例化对象。目标数据库节点的实例化对象通过调用公共操作方法实现数据库节点及所同步的数据库下的操作。通过数据库系统类中与目标功能对应的方法,执行目标数据库节点的实例化对象中实现目标功能的公共操作方法,以对目标数据库节点进行目标功能的测试,得到测试结果。本申请的方法,提高了对数据库同步软件的测试效率、以及测试用例的可维护性。

    数据同步方法、存储介质及设备
    28.
    发明公开

    公开(公告)号:CN118093717A

    公开(公告)日:2024-05-28

    申请号:CN202410205743.6

    申请日:2024-02-23

    Inventor: 雷东 王凯龙

    Abstract: 本发明提供了一种数据同步方法、存储介质及设备。其中,该数据同步方法用于在源端数据库与多个目标端数据库之间进行数据同步,每个目标端同步软件与源端同步软件的连接器一一对应连接,数据同步方法包括:读取一个待同步的事务数据,计算待同步的事务数据所需的使用内存;获取所有连接器的全局缓存容量上限和全局缓存已使用内存;根据事务数据所需的使用内存、全局缓存容量上限和全局缓存已使用内存判断当前连接器能否存放事务数据;若不能,发送当前连接器的事务数据,并清空当前连接器。本发明的优点是能够动态管理同步过程中的内存使用,减少源端同步软件出现内存溢出的风险,提高数据同步的可靠性。

    数据库的审计信息的处理方法、存储介质及计算机设备

    公开(公告)号:CN117648382A

    公开(公告)日:2024-03-05

    申请号:CN202311824794.9

    申请日:2023-12-27

    Inventor: 魏乾 王凯龙

    Abstract: 本发明提供了一种数据库的审计信息的处理方法、存储介质及计算机设备。其中,数据库的审计信息的处理方法包括:利用数据同步软件获取数据库的重做日志;解析识别重做日志以确定日志类型;判断重做日志是否为连接会话日志;以及若是,读取连接会话日志的会话标识和审计信息,并将会话标识和审计信息保存至存储表中,能够捕获审计信息并将其与会话标识进行保存,为后续理清数据操作的来源提供先决条件;通过会话标识将原本无关联的审计信息和数据操作进行管理,使得每条数据操作都包含对应的审计信息,不仅可以明确地追溯数据的具体来源,还可以在误操作导致数据损坏时及时、准确地进行恢复,有效减少或者避免损失。

    数据库系统的数据同步方法、存储介质及设备

    公开(公告)号:CN116303783A

    公开(公告)日:2023-06-23

    申请号:CN202310257853.2

    申请日:2023-03-10

    Inventor: 王凯龙 冷建全

    Abstract: 本发明提供了一种数据库系统的数据同步方法、存储介质及设备。数据库系统包括多个数据库,数据同步方法包括:在每个数据库创建相同的辅助表,辅助表预置有标记字段和可修改字段,标记字段下预先写入数据库系统所有数据库的唯一标识;从上游数据库获取针对下游数据库的待同步事务,其中,上游数据库为数据来源的数据库,下游数据库为接收数据的数据库;获取待同步事务中的附加操作,附加操作是针对辅助表中一个唯一标识对应的可修改字段的修改操作;判断附加操作含有的唯一标识是否与下游数据库的唯一标识相同,若相同,抛弃待同步事务。在事务中添加针对辅助表的操作来对事务进行标记,避免事务同步回最初的数据库。

Patent Agency Ranking