一种流式重复数据检测方法

    公开(公告)号:CN102253820B

    公开(公告)日:2013-03-20

    申请号:CN201110162619.9

    申请日:2011-06-16

    Abstract: 本发明提供了一种流式重复数据检测方法,通过构建一个计时型布隆过滤器阵列TBFA,在滑动窗口模型内灵活高效地检测重复数据。TBFA由多个同构的计时型布隆过滤器TBF构成,每个TBF包含一个布隆过滤器和一个分离的用于保存时间戳的计时器组,整个TBFA以一种循环先入先出队列的方式工作,在记录新元素的同时,淘汰已经移出数据流监控窗口的旧元素。本发明在滑动窗口模型下工作,对元素的监测可以精确到一个元素,从而使基于本发明的统计结果具有稳定性,另外TBFA中的部分计时器组可以被卸载到磁盘中,从而减少内存开销。理论分析和实验数据表明,DCBA在加载10%以内数据内容到内存的情况下,能够保持95%以上的查询效率,从而使本发明在空间效率和可扩展性上优于现有技术方案。

    云备份系统和云备份方法
    102.
    发明公开

    公开(公告)号:CN102523267A

    公开(公告)日:2012-06-27

    申请号:CN201110405525.X

    申请日:2011-12-08

    Abstract: 本发明公开了一种云备份系统,包括资源管理模块、调度模块、元数据管理模块、存储模块。资源管理模块用于接收用户请求,根据用户请求将用户对应的云备份调度信息发送给用户。调度模块用于接收用户根据云备份调度信息发送的认证信息,根据认证信息验证用户的合法性,接收合法用户的备份请求,并将存储模块和元数据管理模块的地址信息发送给用户。存储模块用于接收用户根据地址信息发送的备份数据。元数据管理模块用于接收用户根据备份数据生成的备份元数据,并将备份元数据的信息索引发送给调度模块。本发明可针对不同的企业部署各自私有的云备份,保障了企业备份数据的私有性和独有的高速网络带宽。

    一种用于备份服务的数据组织方法

    公开(公告)号:CN101814045B

    公开(公告)日:2011-09-14

    申请号:CN201010152397.8

    申请日:2010-04-22

    Inventor: 周可 王桦 张鹏

    Abstract: 本发明公开了一种备份服务软件存储服务器端数据组织方法,用于提高存储服务器端的数据组织和数据管理效率。方法包括:①初始化存储服务器存储空间为元数据区(包括主记录、索引头和数据索引)和数据区;②接受并判断用户操作命令,备份操作顺序进行,恢复操作转步骤④,删除操作转步骤⑤;③处理用户备份操作,将用户数据备份到存储服务器数据区,同时利用重复数据删除技术避免重复数据备份;转步骤②;④处理恢复操作,将用户指定的恢复数据列表在存储服务器数据区定位查找,然后传输到用户端;转步骤②;⑤处理删除操作,查找用户指定删除的数据,根据这些数据在存储服务器数据区的备份数据块引用计数进行相应的处理;转步骤②。本方法提高了存储服务器端的利用率、可管理性和系统的可扩展性,节省了网络带宽,提高了备份效率。

    一种采用双指纹哈希校验的重复数据删除方法

    公开(公告)号:CN102156727A

    公开(公告)日:2011-08-17

    申请号:CN201110082513.8

    申请日:2011-04-01

    Abstract: 本发明提出了一种采用双指纹哈希校验的重复数据删除方法,包括将待备份对象划分成等长的待备份数据块;判断其中一个待备份数据块的弱指纹与服务器中任意一个数据块的弱指纹是否相同,若不同,则对该数据块进行备份;若相同,则判断该数据块的强指纹与服务器中任意一个数据块的强指纹是否相同,若不同,则对该数据块进行备份;对所有待备份数据块均进行上述操作。本发明所述的重复数据删除方法首先采用计算量低的哈希函数对每个数据块进行弱校验,再采用计算量大的哈希函数进行强校验,从而避免全部数据都采用计算量大的哈希函数来校验,大大降低了校验过程中的指纹计算量,提升系列性能,为基于海量数据存储的数据备份提供可观的传输性能。

    一种在线备份服务软件中的数据压缩方法

    公开(公告)号:CN101820426A

    公开(公告)日:2010-09-01

    申请号:CN201010152284.8

    申请日:2010-04-22

    Abstract: 本发明公开了一种备份服务软件中的数据压缩方法,属于计算机存储备份服务和计算机数据压缩领域,目的在于提高存储备份服务的效率。在本发明中,提出了在客户端通过两级压缩策略来降低系统负载的方法。上层压缩即为全局压缩,对备份原始文件按照固定大小进行分块,计算每个块的hash值,将此hash值作为数据块的“身份证”,从而保证每个数据块在存储端全局范围内只有一份副本。下层压缩为块级,即通过压缩算法实现数据块内的压缩,进一步地减少了需要通过网络传输的数据量,节省带宽。两级压缩共同作用,不仅提高了备份服务的效率,减少了数据传输量,同时也提高了存储端空间的利用率。

Patent Agency Ranking