公开(公告)号：CN118277430A

公开(公告)日：2024-07-02

申请号：CN202410362070.5

申请日：2024-03-27

Applicant: 北京人大金仓信息技术股份有限公司

Inventor： 韩云亮 ,  王凯龙

IPC: G06F16/2455 ,  G06F16/27

Abstract: 本发明提供了一种数据库的数据字典使用方法、设备、介质及产品。数据库的数据字典使用方法包括：获取到对源端数据库的日志文件进行解析的触发事件；获取源端数据库的数据字典；构建数据字典缓存器；将数据字典持久化存储在预设存储区域；从数据字典缓存器中获取所需的数据字典信息；利用获取到的数据字典信息对源端数据库的日志文件进行解析。数据字典完整地持久化存储在源端数据库之外，在日志解析过程中无需向源端数据库获取数据字典，避免了与源端数据库频繁地建立连接而造成源端数据库系统资源的占用，从而有助于有效地提高源端数据库的系统性能。而且数据字典缓存器能够缓存热点数据字典信息，有助于提高查询效率。

公开(公告)号：CN117763048A

公开(公告)日：2024-03-26

申请号：CN202311845670.9

申请日：2023-12-28

Applicant: 北京人大金仓信息技术股份有限公司

Inventor： 李艺鸿 ,  王凯龙

IPC: G06F16/27 ,  G06F16/21

Abstract: 本发明提供了一种数据库的数据同步方法、存储介质及设备。数据库的数据同步方法包括：获取数据校验触发事件，暂停目标端数据库的数据入库，分别获取源端数据库和目标端数据库的校验数据，并记录获取的源端数据库的校验数据的最新日志号，作为设置日志号。对目标端数据库的校验数据进行校验，以确定目标端数据库的校验数据中是否存在差异数据。若是，对目标端数据库的差异数据进行修复。根据设置日志号恢复目标端数据库的数据入库。数据校验时目标端数据库的数据入库处于暂停状态，因此能够准确比对出差异数据，在对差异数据修复后再根据设置日志号恢复目标端数据库的数据入库，就不会出现数据同步与数据校验工作并行执行时会发生的数据冲突问题。

公开(公告)号：CN117609260A

公开(公告)日：2024-02-27

申请号：CN202311587049.7

申请日：2023-11-24

Applicant: 北京人大金仓信息技术股份有限公司

Inventor： 庞晖 ,  王凯龙

IPC: G06F16/23 ,  G06F16/27

Abstract: 本发明提供一种数据校验方法、装置、设备、介质和计算机程序产品，该方法包括：将源端数据库中的第一数据表的第一数据，与目标端数据库中的第二数据表的第二数据进行比对；在第一数据的主键值小于第二数据的主键值时，将第一数据存储至源端缓存池，并将第一数据表中排序于第一数据之后的数据，与第二数据表中的第二数据进行比对；在第一数据的主键值大于第二数据的主键值，将第二数据存储至目标端缓存池，并将第一数据与第二数据表中排序于第二数据之后的数据进行比对；在第二数据表中未含有待比对的第二数据时，在目标端缓存池中，获取每个第三数据所匹配的第四数据进行比对。本申请中，提高了数据校验的准确性。

公开(公告)号：CN112231407B

公开(公告)日：2023-09-15

申请号：CN202011137351.9

申请日：2020-10-22

Applicant: 北京人大金仓信息技术股份有限公司

Inventor： 王凯龙

IPC: G06F16/27 ,  G06F16/23 ,  G06F16/28

Abstract: 本公开实施例公开了一种PostgreSQL数据库的DDL同步方法、装置、设备和介质。该方法包括：在源端PostgreSQL数据库中创建辅助表，用于记录数据库中产生的DDL语句；基于源端PostgreSQL数据库的事件触发器机制，捕获执行的DDL语句和DDL生效路径，并将其插入辅助表中，生成相应DML操作的日志信息；基于日志信息中的DML操作的操作对象是否为辅助表，将DML操作转换为DDL语句或DML语句，且将转换的DDL语句或DML语句封装为相应的同步对象；将同步对象发送至目标端数据同步服务，完成PostgreSQL数据库的DDL同步。实现了基于源端PostgreSQL数据库的事件触发器机制，自动捕获数据库中执行的DDL语句，并通过INSERT操作将其转换为DML操作存入日志，使得PostgreSQL数据库间接记录了DDL操作，从而使得PostgreSQL数据库具备DDL同步功能。

公开(公告)号：CN116627944A

公开(公告)日：2023-08-22

申请号：CN202310637475.0

申请日：2023-05-31

Applicant: 北京人大金仓信息技术股份有限公司

Inventor： 王凯龙 ,  冷建全

IPC: G06F16/21 ,  G06F16/27 ,  G06F9/445

Abstract: 本发明提供了一种数据库操作审计方法、存储介质及设备。数据同步软件预置有读取插件、解析插件和写出插件，以及至少一个审计插件，审计插件依次设置在解析插件和写出插件之间，读取插件、解析插件、审计插件和写出插件按顺序对数据进行处理。数据库操作审计方法包括：启动读取插件、解析插件、审计插件和写出插件；在相邻的两个插件之间建立连接；利用读取插件读取数据库日志；利用解析插件对数据库日志进行解析，得到增量事务数据；利用审计插件对增量事务数据进行审计；利用写出插件获取审计完成后的增量事务数据并将增量事务数据写出到增量文件中。利用数据同步软件对数据库操作进行审计，减少了对数据库的侵入性。

公开(公告)号：CN116431647A

公开(公告)日：2023-07-14

申请号：CN202310088898.1

申请日：2023-01-17

Applicant: 北京人大金仓信息技术股份有限公司

Inventor： 王凯龙 ,  冷建全

IPC: G06F16/23 ,  G06F16/2455

Abstract: 本发明涉及数据库领域，特别是涉及一种数据处理方法、存储介质与设备。该数据处理方法包括：在解析事务时，获取事务内数据操作的属性信息，其中，数据操作的属性信息包括数据操作的数量、每条数据操作的操作类型和操作对象的至少之一；根据数据的属性信息，判断事务是否符合预设的批量入库条件；若是，则以预设标记方式标记事务。本发明的数据处理方法，对符合预设的批量入库条件进行标记的事务进行标记，实现了将可以以批量入库的方式入库的事务和其他日志区分开来，避免了在批量入库阶段内不必要的报错问题，从而保证了数据同步的稳定性。

公开(公告)号：CN116226286A

公开(公告)日：2023-06-06

申请号：CN202310252561.X

申请日：2023-03-15

Applicant: 北京人大金仓信息技术股份有限公司

Inventor： 王凯龙

IPC: G06F16/27

Abstract: 本发明提供了一种数据同步方法、存储介质及设备。该数据同步方法包括：从每个源端数据库中分别获取一条增量数据；将获取到的所述增量数据发送至协调节点，所述协调节点位于目标数据库与各所述源端数据库之间，用于关联所述目标数据库与各所述源端数据库之间的同步链路；确定所述协调节点中优先级最高的增量数据；将所述优先级最高的增量数据投递至所述目标数据库。本发明的优点是能够在多对一的数据同步场景下，确保数据同步的准确性，加快数据的同步速度。

公开(公告)号：CN115599861A

公开(公告)日：2023-01-13

申请号：CN202211248238.7

申请日：2022-10-12

Applicant: 北京人大金仓信息技术股份有限公司(CN)

Inventor： 魏乾 ,  王凯龙

IPC: G06F16/27 ,  G06F16/23

Abstract: 本发明提供了一种数据库同步过程的数据校验方法、存储介质与设备，数据校验方法包括：在需校验的数据表中设定参照列；获取所述数据表中的数据更新，并相应设置被更新数据对应的所述参照列的参照值，使得所述参照列的参照值与更新时间相对应，并且随更新时间而增大；在所述数据表开启同步校验的时刻，从所述参照列的参照值中提取最大值；在本次校验后，根据所述最大值更新校验基准参数，所述校验基准参数用于确定同步校验的范围。因此，在校验过程中，不仅能够对特定的数据表进行校验。并且，能够对每次校验后新的增量数据进行校验。从而，有效地降低了校验时间，有助于提高校验效率。

公开(公告)号：CN115098590A

公开(公告)日：2022-09-23

申请号：CN202210709954.4

申请日：2022-06-22

Applicant: 北京人大金仓信息技术股份有限公司

Inventor： 赵成淼 ,  王凯龙 ,  魏乾

IPC: G06F16/27 ,  G06F16/28 ,  G06F16/2455 ,  G06F16/22

Abstract: 本申请提供一种数据同步方法和装置，涉及数据处理技术。该数据同步方法，检测到第一数据库存在增量数据，其中，增量数据关联有增量数据在第一数据库中的第一表格的第一标识。根据第一标识，查询与第一表格存在映射关系的第一主表的第二标识，其中，第一主表关联有多个子表，且第一主表包括多个子表的内容。当查询到第一主表的第二标识时，将增量数据，同步到第二数据库中的第二主表中，其中，第二主表的第三身份信息与第一主表的第二标识存在映射关系，且第一数据库和第二数据库的表结构相同，提高了数据同步成功的可靠性。

公开(公告)号：CN114996286A

公开(公告)日：2022-09-02

申请号：CN202210678525.5

申请日：2022-06-16

Applicant: 北京人大金仓信息技术股份有限公司

Inventor： 魏乾 ,  王凯龙 ,  赵成淼

IPC: G06F16/23 ,  G06F16/27

Abstract: 本发明提供一种数据同步方法、装置、设备和计算机可读存储介质，包括：读取一条日志信息，并获取日志信息的对象标识符；根据日志信息的对象标识符确定日志信息对应的表名；根据表名确定是否对日志信息对应的数据进行同步；在确定对日志信息对应的数据进行同步时，根据日志信息获取待同步的数据，并将待同步的数据同步至目标终端。本发明中，每读取一条日志信息，则判断该日志信息是否需要进行同步，避免从大量的数据中抽取同步数据，极大的减少了装置中关键资源的消耗量，缩短了数据的同步时长，且避免了数据同步导致装置的时延过大。