重复数据删除方法及存储设备

    公开(公告)号:CN107430602A

    公开(公告)日:2017-12-01

    申请号:CN201580002563.7

    申请日:2015-12-29

    Inventor: 张宗全 张程伟

    Abstract: 此处公开了存储设备执行重复数据删除的方案。在本方案中,根据重复数据局部性原理,将逻辑地址连续的非重复数据块按照逻辑地址顺序存储到连续的物理地址中,将逻辑地址连续的非重复数据块的指纹按照逻辑地址顺序也存储到连续的物理地址中,同时建立逻辑地址连续的非重复数据块中的一个逻辑地址到到聚合地址的映射。

    一种数据保存方法和装置
    32.
    发明公开

    公开(公告)号:CN107046812A

    公开(公告)日:2017-08-15

    申请号:CN201580056658.7

    申请日:2015-12-08

    CPC classification number: G06F3/0641 G06F3/0608 G06F3/067 G06F3/0673 G06F12/00

    Abstract: 一种数据保存方法和装置,用于对保存于数据库的数据进行重删和压缩处理。该方法包括:将待保存数据块和参照数据块分别划分为大小相同的N个待保存子数据块,比较对应相同位置标识的待保存子数据块和参照子数据块,从N个待保存子数据块中确定可重删子数据块和不可重删子数据块,对可重删子数据块进行重删操作,选择不可重删子数据块的代表子数据块,并将不可重删子数据块的数据与代表子数据块的数据进行异或操作,使用游程编码对异或操作的结果进行压缩,并保存压缩结果和不可重删子数据块的位置信息。通过对待保存数据块的重删和压缩操作,可以减小保存待保存数据块需要的存储空间。

    一种数据存储的方法及装置

    公开(公告)号:CN106325769A

    公开(公告)日:2017-01-11

    申请号:CN201610698157.5

    申请日:2016-08-19

    Inventor: 于传帅 张程伟

    CPC classification number: G06F3/0608 G06F3/0641 G06F3/067

    Abstract: 本发明实施例公开了一种数据存储的方法及装置,涉及存储技术领域,可以在执行冗余策略的同时,使用数据缩减技术减少冗余数据对存储空间的占用。具体方案为:在获得第一子数据后,计算第一子数据与第二子数据的差异值;第一子数据为新版本数据组中的一个子数据,第二子数据为新版本数据组的上一版本数据组中与第一子数据对应子数据;若第一子数据与第二子数据的差异值小于或等于第一差异阈值,仅存储第一子数据与第二子数据的差别数据,第一子数据与第二子数据的差别数据为第一子数据与第二子数据相比、第一子数据中已修改的数据的大小;若第一子数据与第二子数据的差异值大于第一差异阈值,存储第一子数据。本发明实施例应用于数据存储过程中。

    一种确定文件所在分区的方法及装置

    公开(公告)号:CN104537016A

    公开(公告)日:2015-04-22

    申请号:CN201410795852.4

    申请日:2014-12-18

    CPC classification number: G06F17/30091 G06F17/30106

    Abstract: 本发明公开了一种确定文件所在分区的方法及装置,用以解决现有技术中的路径分区映射表规模庞大,占用的存储空间较大,文件搜索性能下降的问题。该方法为:根据本地所有文件的目录树的分区,构建保存有每个父分区以及对应的关键路径的对应关系的分区的索引信息表,根据待查询文件的路径在该分区的索引信息表中遍历,得到一个是待查询文件的路径的前缀路径的关键路径,并根据该关键路径确定待查询文件所归属的分区。这样,用于确定文件所归属的分区的索引信息表中的数据项数较少,极大的节省了存储空间,同时提高了文件检索性能,以及分区的索引信息表的查询更新效率。

    一种预测网络攻击行为的方法及装置

    公开(公告)号:CN101075917A

    公开(公告)日:2007-11-21

    申请号:CN200710130232.9

    申请日:2007-07-16

    CPC classification number: H04L63/1416 G06F21/55 H04L63/0227

    Abstract: 本发明涉及网络通信安全领域,公开了一种预测网络攻击行为的方法,包括以下步骤:监测网络状态参数,根据网络状态参数的变化,获得攻击行为;根据攻击行为与后继攻击行为的对应关系,从所述攻击行为对应的后继攻击行为中选择一个最大可能后继攻击行为,其中,所述最大可能后继攻击行为是与所述攻击行为对应的后继攻击行为中发生次数最多的一个;将所述最大可能后继攻击行为作为预测的网络攻击行为输出。本发明还公开了一种预测网络攻击行为的装置,包括攻击行为管理单元。本发明详细描述了网络攻击行为过程及攻击过程中攻击行为之间的关系,提出了网络预警的方法,为针对网络攻击采取具体措施提供了依据。

    一种数据压缩的方法和相关设备

    公开(公告)号:CN110825706A

    公开(公告)日:2020-02-21

    申请号:CN201810893734.5

    申请日:2018-08-07

    Abstract: 本申请提供了一种数据压缩的方法和相关装置。其中,该方法包括:存储节点获取多个数据块,其中,所述多个数据块关联存储在所述存储节点中;对所述多个数据块进行压缩,以得到压缩数据。本申请实施例通过在存储节点执行压缩任务,实现压缩功能,可以提升数据库的性能。

    分布式数据库系统和分布式数据库系统中的数据处理方法

    公开(公告)号:CN106708968B

    公开(公告)日:2019-11-26

    申请号:CN201611095563.9

    申请日:2016-12-01

    Abstract: 本申请提供分布式数据库系统和分布式数据库系统中的数据处理方法。该数据处理方法包括:数据库引擎接收插入数据请求消息,插入数据请求消息携带第一数据;数据库引擎确定第一数据所属的目标页的标识信息;数据库引擎生成第一重做日志,第一重做日志包括第一数据和目标页的标识信息;数据库引擎根据第一重做日志中目标页的标识信息,确定至少一个分区中与目标页对应的目标分区;数据库引擎将第一重做日志中的第一数据和目标页的标识信息,存入目标分区中用于存储目标页的重做日志的物理地址空间,目标分区为至少一个存储节点中的目标存储节点所包括的分区。本申请的分布式数据库系统和数据处理方法使得该分布式数据库系统可以灵活动态地扩容。

    用于存储节点同步业务请求的方法和装置

    公开(公告)号:CN107710165A

    公开(公告)日:2018-02-16

    申请号:CN201580002564.1

    申请日:2015-12-15

    Inventor: 于传帅 张程伟

    Abstract: 本发明实施例涉及用于存储节点同步业务请求的方法和装置。该方法包括:当第一存储节点在执行多个业务请求的t1至t2内发生故障时,确定该第一日志中记录的开始执行时刻在t1-2dt至t2+2dt内的业务请求的集合为第一业务请求集合,该第二日志中记录的开始执行时刻在t1-dt至t2+dt内的业务请求的集合为第二业务请求集合,dt为执行业务请求的最大时间跨度;确定属于该第二业务请求集合且不属于该第一业务请求集合的业务请求为该第一存储节点在发生故障期间丢失的业务请求,以便于第一存储节点执行该丢失的业务请求。本发明实施例的用于存储节点同步业务请求的方法和装置,能够准确的得到丢失的业务请求,同步正常存储节点与故障存储节点的业务请求,提高了存储系统执行业务请求的吞吐量。

    备份数据块的方法和灾备端设备

    公开(公告)号:CN107346271A

    公开(公告)日:2017-11-14

    申请号:CN201610293526.2

    申请日:2016-05-05

    Inventor: 钟延辉 张程伟

    CPC classification number: G06F11/1448

    Abstract: 本发明实施例提供一种备份数据块的方法和灾备端设备,该方法包括:灾备端设备接收源端设备发送的第一数据块的第一弱哈希值和该第一数据块的第一强哈希值;该灾备端设备确定该灾备端设备保存的与该第一弱哈希值对应的第二数据块;该灾备端设备比较该第一强哈希值与该第二强哈希值,确定该第一强哈希值与该第二强哈希值不同;该灾备端设备指示该源端设备向该灾备端设备发送该第一数据块。这样,可以减少该源端设备和该灾备端设备之间的数据传输量,达到节省带宽和传输消耗的时间的目的。该灾备端设备也无需逐行对数据块进行对比,缩短了对比数据块使用的时间。

Patent Agency Ranking