公开(公告)号：CN115328999A

公开(公告)日：2022-11-11

申请号：CN202210945141.5

申请日：2022-08-08

Applicant: 北京人大金仓信息技术股份有限公司

Inventor： 冷建全 ,  王凯龙

IPC: G06F16/27

Abstract: 本发明提供了一种数据同步过程中增量数据的解析方法及存储介质，数据同步过程中增量数据的解析方法，包括获取数据库日志；将数据库日志划分为设定数量的数据块，在预设的全局登记区中按顺序定义数据块的块号并将数据块定义为未读取状态；利用多个读取线程读取数据块，每个读取线程将读取完成的数据块放入各自的队列中。多个读取线程同时读取数据，减少了解析线程空等情况的发生，提高了解析效率。全局登记区对每个数据块的块号和状态进行管理，使得多个读取线程能够在全局登记区的协调下有序地进行数据读取，保证了数据读取有序进行。

公开(公告)号：CN114328738A

公开(公告)日：2022-04-12

申请号：CN202111650609.X

申请日：2021-12-30

Applicant: 北京人大金仓信息技术股份有限公司

Inventor： 王凯龙

IPC: G06F16/27 ,  G06F16/242 ,  G06F16/2455

Abstract: 本公开提供了一种数据处理方法、装置、电子设备及可读存储介质，涉及计算机技术领域。该方法包括：在源数据库中获取目标数据表的数据字典；判断当前时刻存储于预设缓存队列中的数据字典的数量是否小于第一阈值；若否，则将当前时刻存储于预设缓存队列队尾的数据字典从预设缓存队列中删除，并将目标数据表的数据字典保存至预设缓存队列的队首；通过解析预设缓存队列队首的目标数据表的数据字典，将目标数据表的至少一条目标数据同步至目标数据库。在此过程中，当预设缓存队列中的数据字典的数量不小于第一阈值时，会将预设缓存队列队尾的数据字典从预设缓存队列中删除，从而，保证了数据字典占用的内存不会无限制增大，防止了内存溢出。

公开(公告)号：CN114297301A

公开(公告)日：2022-04-08

申请号：CN202111636110.3

申请日：2021-12-29

Applicant: 北京人大金仓信息技术股份有限公司

Inventor： 王凯龙

IPC: G06F16/27

Abstract: 本公开涉及一种数据同步方法、装置、设备及计算机可读存储介质，该方法包括：从源端服务器接收记录信息，所述记录信息包括源端数据库中存储的数据的变化信息；若发生网络传输中断，则在网络恢复正常时，向所述源端服务器发送中断之前所述目的端服务器接收到的最后一个记录信息的标识；从所述源端服务器接收所述最后一个记录信息之后的其他记录信息。本公开通过根据中断之前目的端服务器接收到的最后一个记录信息的标识对数据传输中断点进行准确定位，进一步获取中断点之后的记录信息，而无需重新发送所有记录信息就能够继续进行数据同步，从而避免了资源浪费，提高了数据同步的效率与灵活性。

公开(公告)号：CN114265906A

公开(公告)日：2022-04-01

申请号：CN202111671116.4

申请日：2021-12-31

Applicant: 北京人大金仓信息技术股份有限公司

Inventor： 王凯龙

IPC: G06F16/27 ,  G06F16/17

Abstract: 本公开涉及一种数据同步方法、装置、计算机设备和介质；其中，该方法包括：从源端数据库中获取待同步数据；将待同步数据封装成多个数据记录，并将多个数据记录依次写入记录文件中；调用目标数据读取程序从记录文件中读取对应的数据记录，并将读取到的数据记录发送至对应的目标数据库。本公开实施例中由于记录文件中能够存储的数据记录个数较多，因此数据记录在写入时不需要等候，并且通过从记录文件中读取对应的数据记录，能够减少对源端数据库资源的占用，同时保证目标数据库数据同步的实时性。

公开(公告)号：CN114153909A

公开(公告)日：2022-03-08

申请号：CN202111422231.8

申请日：2021-11-26

Applicant: 北京人大金仓信息技术股份有限公司

Inventor： 王凯龙

IPC: G06F16/25 ,  G06F16/27

Abstract: 本公开涉及一种基于Velocity模板引擎的数据库表结构翻译方法和装置；其中，方法包括：构建异构数据库之间的目标格式转换文件，基于目标接口获取源端的表字段信息，初始化Velocity后，构建Velocity上下文对象，将表字段信息输入Velocity上下文对象，在Velocity中加载目标格式转换文件对Velocity上下文对象中的表字段信息进行处理，得到表结构翻译结果并发送给目标端。由此，通过采用Velocity模板引擎进行表结构翻译，提高表结构翻译效率和准确性。