一种数据处理方法、装置、电子设备及存储介质

    公开(公告)号:CN114265900A

    公开(公告)日:2022-04-01

    申请号:CN202111614639.5

    申请日:2021-12-27

    Inventor: 沈志伟 杨尚

    Abstract: 本公开涉及一种数据处理方法、装置、电子设备及存储介质,应用于数据存取领域,解决了现有异步刷盘存在的数据丢失量大的问题,该方法包括:从至少一个数据库节点提交的多个事务所对应的多个时间戳中,确定目标同步时间戳;根据目标同步时间戳,从至少一个数据库节点的内存中确定多个事务所对应的多个事务日志;将多个事务日志从至少一个数据库节点的内存中同步至至少一个数据库节点的磁盘;在分布式数据库发生异常时,根据目标同步时间戳从至少一个数据库节点的磁盘中确定同步时间戳之前的多个事务日志;将多个事务日志恢复至至少一个数据库节点的内存,以使分布式数据库恢复至发生异常之前的状态。

    一种事务日志段文件的处理方法、存储介质与设备

    公开(公告)号:CN118626460A

    公开(公告)日:2024-09-10

    申请号:CN202310220614.X

    申请日:2023-03-08

    Inventor: 沈志伟

    Abstract: 本发明涉及数据库技术,特别是涉及一种事务日志段文件的处理方法、存储介质与设备。该事务日志段文件存储在日志文件目录中。该事务日志段文件的处理方法包括:在事务日志的写流程之后,在日志文件目录中创建压缩状态文件,其中,压缩状态文件用于标识日志文件目录中每个已准备好压缩的事务日志段文件;在压缩进程启动之后,根据压缩状态文件获取待压缩的事务日志段文件;对待压缩的事务日志段文件进行压缩操作。本发明的事务日志段文件的处理方法,以事务日志段文件为压缩粒度对事务日志段文件进行压缩,避免了解压粒度过小导致的压缩效率低的问题,消除了压缩进程对事务日志写流程性能的影响,有效提高了压缩效率,从而提高了系统的整体性能。

    一种事务日志的处理方法、存储介质与设备

    公开(公告)号:CN118626459A

    公开(公告)日:2024-09-10

    申请号:CN202310220612.0

    申请日:2023-03-08

    Inventor: 沈志伟

    Abstract: 本发明涉及数据库技术,特别是涉及一种事务日志的处理方法、存储介质与设备。该事务日志的处理方法包括:在事务日志的写流程,记录事务日志在压缩前的长度以及压缩后的长度;在事务日志的读流程,获取已压缩的事务日志在压缩前的长度和压缩后的长度;根据已压缩的事务日志在压缩前的长度和压缩后的长度,对已压缩的事务日志进行解压操作,以得到已解压的事务日志。本发明的事务日志的处理方法,根据已压缩的事务日志在压缩前的长度和压缩后的长度,实现了对已压缩的事务日志的正确解压,避免了因事务日志压缩后的长度缺失导致的解压不准确的问题,提高了解压事务日志的准确性。

    一种事务日志段文件的处理方法、存储介质与设备

    公开(公告)号:CN118350020A

    公开(公告)日:2024-07-16

    申请号:CN202310066692.9

    申请日:2023-01-13

    Inventor: 沈志伟

    Abstract: 本发明涉及数据库技术,特别是涉及一种事务日志段文件的处理方法、存储介质与设备。该处理方法包括:在事务日志的写流程,获取待加密的事务日志段文件;判断待加密的事务日志段文件是否落盘完成;若是,则对待加密的事务日志段文件进行加密操作。本发明的事务日志段文件的处理方法,在待加密的事务日志段文件落盘完成的情况下,对待加密的事务日志段文件进行加密操作,提高了加密粒度的尺寸,降低了加密操作频率,避免了反复的加密和解密操作对数据库性能的损耗,从而提高了数据库的整体性能。

    一种事务日志的处理方法、存储介质与设备

    公开(公告)号:CN118349531A

    公开(公告)日:2024-07-16

    申请号:CN202310068251.2

    申请日:2023-01-13

    Inventor: 沈志伟

    Abstract: 本发明涉及数据库技术,特别是涉及一种事务日志的处理方法、存储介质与设备。该事务日志的处理方法包括:在事务日志的写流程,获取待加密的事务日志中待加密的数据页;以预设的标记方式标记待加密的数据页;获取待加密的数据页的待加密区间;根据待加密区间,对待加密的数据页进行加密操作。本发明的事务日志的处理方法,在对待加密的数据页进行加密操作之前,以预设的标记方式标记待加密的数据页,实现了精准加密,便于在后续流程中的精准解密,减小了因不必要的加密操作带来的数据库资源的浪费和性能的损耗,避免了由于不必要的解密操作造成的数据信息读取错误的问题,从而实现了在保证数据安全的同时,提高数据库的运行效率。

    一种事务日志的处理方法、存储介质与设备

    公开(公告)号:CN118093540A

    公开(公告)日:2024-05-28

    申请号:CN202211504530.0

    申请日:2022-11-28

    Inventor: 沈志伟

    Abstract: 本发明涉及数据库技术,特别是涉及一种事务日志的处理方法、存储介质与设备。已加密的事务日志中预先存储有数据对齐长度。并且该事务日志的处理方法包括:在事务日志的读流程,对已加密的事务日志进行解密操作,得到已解密的事务日志;获取数据对齐长度,其中,数据对齐长度是已解密的事务日志中对齐填充数据的长度;根据数据对齐长度,计算已解密的事务日志除了对齐填充数据以外的全部有效数据的长度;根据全部有效数据的长度,对已解密的事务日志进行解码操作。本发明的事务日志的处理方法可以获取到已加密的事务日志在加密前的明文长度,避免了解码事务日志头部时无法正确结束的问题,提高了读取事务日志的准确性。

    一种事务日志的加密方法、存储介质与设备

    公开(公告)号:CN117708838A

    公开(公告)日:2024-03-15

    申请号:CN202211090771.5

    申请日:2022-09-07

    Inventor: 冷建全 沈志伟

    Abstract: 本发明涉及数据库技术,特别是涉及一种事务日志的加密方法、存储介质与设备。该事务日志的加密方法包括:在组装待加密的事务日志的过程中,以预设加密粒度对事务日志进行加密操作;根据加密后的事务日志的长度,在事务日志写缓存中预分配事务日志的存储位置;根据预分配得到的事务日志的存储位置,将事务日志拷贝到事务日志写缓存。本发明的事务日志的加密方法在对事务日志的加密保护以满足安全性的同时,避免了由于事务日志加密前后的长度不同导致的存储位置信息发生变化的问题,保持了事务日志在事务日志写缓存中的存储位置信息的稳定性。

    一种事务日志的处理方法、存储介质与设备

    公开(公告)号:CN117675969A

    公开(公告)日:2024-03-08

    申请号:CN202211090733.X

    申请日:2022-09-07

    Inventor: 沈志伟

    Abstract: 本发明涉及数据库技术,特别是涉及一种事务日志的处理方法、存储介质与设备。该事务日志的处理方法包括:在对事务日志进行解密操作之前,判断事务日志是否包含预设的事务日志加密标记;若包含,则确定事务日志需要进行解密操作。本发明的事务日志的处理方法在对事务日志进行解密操作之前会预先判断其是否需要进行解密操作,避免了因对无需解密的事务日志进行解密带来的数据库的资源浪费和性能损耗,减少了无效的解密操作,有效地提升了数据库的整体性能。

    一种事务日志的处理方法、装置、设备和介质

    公开(公告)号:CN117421284A

    公开(公告)日:2024-01-19

    申请号:CN202210808697.X

    申请日:2022-07-11

    Inventor: 冷建全 沈志伟

    Abstract: 本申请提供一种事务日志的处理方法、装置、设备和介质,将预写日志存储级别参数修改为逻辑值,而后创建逻辑复制槽并将逻辑复制槽创建完成的时间点作为事务日志级别均为逻辑级别的时间点。由于在创建逻辑复制槽完成之前,需要等待预写日志存储级别参数修改为逻辑值时正在运行的事务集内事务运行完成,即逻辑复制槽创建完成的时间点晚于事务集内事务运行完成的时间点。因此,逻辑复制槽创建完成的时间点或之后的任意时刻运行事务的事务日志级别均为逻辑级别,逻辑解码该时间点和/或该时间后运行事务的事务日志不会出现数据丢失的情况,有效减小数据丢失的风险。

    数据还原方法、装置、服务器及存储介质

    公开(公告)号:CN115934425A

    公开(公告)日:2023-04-07

    申请号:CN202211664879.0

    申请日:2022-12-22

    Inventor: 李伟 杨尚 沈志伟

    Abstract: 本申请提供的一种数据还原方法、装置、服务器及存储介质,涉及数据管理领域。在第一时刻接收来自用户终端的数据还原指令,数据还原指令携带有在历史上的第二时刻之后的还原时间节点,第二时刻为检测到历史上的日志归档文件出现异常的时刻。响应于数据还原指令,获取在第二时刻之后备份的数据库的数据,以及在指定文件路径获取在第一时长内产生的日志归档文件,第一时长是第二时刻到还原时间节点的间隔时长;服务器对备份的数据库的数据,执行在第一时长内产生的日志归档文件中的多条操作日志关联的操作,以还原处于还原时间节点时数据库的数据,还原数据库的数据的数据损失小,且效率高。

Patent Agency Ranking