公开(公告)号：CN108089816A

公开(公告)日：2018-05-29

申请号：CN201711119659.9

申请日：2017-11-14

Applicant: 西北工业大学

Inventor： 蒋泽军 ,  王丽芳 ,  杜承烈 ,  刘志强 ,  范刚龙 ,  褚伟波 ,  尤涛 ,  陈进朝 ,  史豪斌 ,  潘炜 ,  赵正伟 ,  邓磊 ,  罗立志

IPC: G06F3/06

Abstract: 本发明公开了一种基于负载均衡的查询式重复数据删除方法及装置，涉及通信技术领域。该方法包括：从对数据流进行分块所得的数据块，超块以及每个所述数据块对应的指纹，确定确定与多个最小指纹对应的多个存储节点；通过布隆过滤器确定分别与多个存储节点匹配的数量，当确定与多个存储节点匹配的数量非零时，根据确定的与多个存储节点匹配的数量以及存储节点的容量，确定第一存储节点；将超块发送至所述第一存储节点，根据从超块内选择的具有最小指纹的数据块从第一存储节点内选择与最小指纹对应的容器编号；当确定与容器编号对应的最小指纹以及与最小指纹对应的数据块存储在缓存数据库中时，则将数据块删除。

公开(公告)号：CN108090125A

公开(公告)日：2018-05-29

申请号：CN201711119662.0

申请日：2017-11-14

Applicant: 西北工业大学

Inventor： 王丽芳 ,  蒋泽军 ,  范刚龙 ,  杜承烈 ,  刘志强 ,  邓磊 ,  史豪斌 ,  潘炜 ,  褚伟波 ,  陈进朝 ,  尤涛 ,  赵正伟 ,  罗立志

IPC: G06F17/30 ,  G06F3/06

Abstract: 本发明公开了一种非查询式的重复数据删除方法及装置，涉及通信技术领域。该方法包括：从元数据服务器内存储的数据块，超块以及每个数据块对应的指纹中，确定多个最小的指纹；将多个最小的指纹与全局布隆过滤器阵列进行匹配，当确定与多个最小的指纹匹配的存储节点的数量非零时，确定第一存储节点；将超块发送至所述第一存储节点，根据从超块内选择的具有最小指纹的数据块从第一存储节点内选择与最小指纹对应的容器编号；当确定与容器编号对应的最小指纹以及与最小指纹对应的数据块存储在缓存数据库中时，则将与所述最小指纹以及与所述最小指纹对应的数据块删除。

公开(公告)号：CN108089816B

公开(公告)日：2021-05-11

申请号：CN201711119659.9

申请日：2017-11-14

Applicant: 西北工业大学

Inventor： 蒋泽军 ,  王丽芳 ,  杜承烈 ,  刘志强 ,  范刚龙 ,  褚伟波 ,  尤涛 ,  陈进朝 ,  史豪斌 ,  潘炜 ,  赵正伟 ,  邓磊 ,  罗立志

IPC: G06F3/06

Abstract: 本发明公开了一种基于负载均衡的查询式重复数据删除方法及装置，涉及通信技术领域。该方法包括：从对数据流进行分块所得的数据块，超块以及每个所述数据块对应的指纹，确定确定与多个最小指纹对应的多个存储节点；通过布隆过滤器确定分别与多个存储节点匹配的数量，当确定与多个存储节点匹配的数量非零时，根据确定的与多个存储节点匹配的数量以及存储节点的容量，确定第一存储节点；将超块发送至所述第一存储节点，根据从超块内选择的具有最小指纹的数据块从第一存储节点内选择与最小指纹对应的容器编号；当确定与容器编号对应的最小指纹以及与最小指纹对应的数据块存储在缓存数据库中时，则将数据块删除。

公开(公告)号：CN108090125B

公开(公告)日：2021-05-25

申请号：CN201711119662.0

申请日：2017-11-14

Applicant: 西北工业大学

Inventor： 王丽芳 ,  蒋泽军 ,  范刚龙 ,  杜承烈 ,  刘志强 ,  邓磊 ,  史豪斌 ,  潘炜 ,  褚伟波 ,  陈进朝 ,  尤涛 ,  赵正伟 ,  罗立志

IPC: G06F16/174 ,  G06F16/23 ,  G06F3/06

Abstract: 本发明公开了一种非查询式的重复数据删除方法及装置，涉及通信技术领域。该方法包括：从元数据服务器内存储的数据块，超块以及每个数据块对应的指纹中，确定多个最小的指纹；将多个最小的指纹与全局布隆过滤器阵列进行匹配，当确定与多个最小的指纹匹配的存储节点的数量非零时，确定第一存储节点；将超块发送至所述第一存储节点，根据从超块内选择的具有最小指纹的数据块从第一存储节点内选择与最小指纹对应的容器编号；当确定与容器编号对应的最小指纹以及与最小指纹对应的数据块存储在缓存数据库中时，则将与所述最小指纹以及与所述最小指纹对应的数据块删除。