数据修复方法、装置及设备、存储介质

    公开(公告)号:CN112905368A

    公开(公告)日:2021-06-04

    申请号:CN201911133194.1

    申请日:2019-11-19

    Abstract: 本发明提供一种数据修复方法、装置及设备、存储介质,保证两个分布式存储引擎中数据分布的一致性。该方法包括:分别统计第一分布式存储引擎在第一时间段的第一数据分布信息以及第二分布式存储引擎在第一时间段内的第二数据分布信息;比较第一数据分布信息与第二数据分布信息是否满足一致性要求,如果否,获取第一日志和第二日志,第一日志用于记录针对第一分布式存储引擎执行的操作事件及操作时间,第二日志用于记录针对第二分布式存储引擎执行的操作事件及操作时间;依据第一日志和第二日志中操作时间处于第一时间段的操作事件执行数据修复操作,以使第一分布式存储引擎和第二分布式存储引擎在第一时间段的数据分布信息满足一致性要求。

    数据汇聚方法、装置、设备、存储介质和系统

    公开(公告)号:CN111064591B

    公开(公告)日:2021-03-26

    申请号:CN201811205313.5

    申请日:2018-10-16

    Abstract: 本发明公开了一种数据汇聚方法、装置、设备、存储介质和系统,属于大数据技术领域。该方法应用于第一数据汇聚系统的控制设备中,该方法包括:获取多个虚拟节点的配置信息;根据接收到的数据汇聚指令确定起始虚拟节点和目的虚拟节点,并根据该多个虚拟节点的配置信息和每个虚拟节点对应的节点设备,确定从起始节点设备到达目的节点设备的传输通道,向该传输通道的每个节点设备下发传输通道,由传输通道上的每个节点设备进行数据传输,将起始节点设备的数据汇聚到目的节点设备中。通过输入的配置指令即可自定义配置信息,能够根据业务需求对配置信息进行更新,从而更改数据汇聚系统中的节点设备,扩展了数据汇聚系统的业务能力,提高了灵活性。

    数据汇聚方法、装置、设备、存储介质和系统

    公开(公告)号:CN111064591A

    公开(公告)日:2020-04-24

    申请号:CN201811205313.5

    申请日:2018-10-16

    Abstract: 本发明公开了一种数据汇聚方法、装置、设备、存储介质和系统,属于大数据技术领域。该方法应用于第一数据汇聚系统的控制设备中,该方法包括:获取多个虚拟节点的配置信息;根据接收到的数据汇聚指令确定起始虚拟节点和目的虚拟节点,并根据该多个虚拟节点的配置信息和每个虚拟节点对应的节点设备,确定从起始节点设备到达目的节点设备的传输通道,向该传输通道的每个节点设备下发传输通道,由传输通道上的每个节点设备进行数据传输,将起始节点设备的数据汇聚到目的节点设备中。通过输入的配置指令即可自定义配置信息,能够根据业务需求对配置信息进行更新,从而更改数据汇聚系统中的节点设备,扩展了数据汇聚系统的业务能力,提高了灵活性。

    一种数据删除方法和装置
    14.
    发明公开

    公开(公告)号:CN110765081A

    公开(公告)日:2020-02-07

    申请号:CN201810837643.X

    申请日:2018-07-26

    Inventor: 李冰杰 王辉

    Abstract: 本申请提供一种数据删除方法和装置,本申请通过划分逻辑数据块,为逻辑数据块设置时间段标签和时间有效期,再按照原始数据的时间戳和逻辑数据块的时间段标签的匹配情况,将原始数据保存到相应的逻辑数据块的存储空间中;这样,可以通过判断逻辑数据块是否超期,来实现判断逻辑数据块对应存储空间内保存的原始数据是否超期的目的,减小了检测数据是否超期所消耗的时间。在逻辑数据块的数量保持一定的前提下,本申请实施例在检测上耗费的时间并不随数据的增多而增多。以及,当需要修改数据的有效期时,通过修改该数据所在逻辑数据块的时间有效期即可方便的实现。

Patent Agency Ranking