公开(公告)号：CN103970875A

公开(公告)日：2014-08-06

申请号：CN201410204599.0

申请日：2014-05-15

Applicant: 华中科技大学

Inventor： 曹强 ,  万胜刚 ,  林川 ,  黄国强 ,  谢长生

IPC: G06F17/30

CPC classification number: G06F17/30159 ,  G06F17/30168 ,  G06F17/30203

Abstract: 本发明公开了一种并行重复数据删除方法，包括以下步骤：客户端先对要重删的数据进行分块，然后通过哈希函数计算出每个分块的哈希指纹，然后把哈希指纹发送到不同的重删服务器节点上进行指纹的查重工作。如果某个指纹经过对比，确认是重复的指纹，则只用更新查询服务器上元数据和重删服务器节点上的指纹计数器。如果某个指纹经过对比，确认是一个新的数据块，则传输该数据块到重删服务器并且更新指纹库和查询服务器上的元数据。本发明具重删节点可扩展性，可根据不同的需求扩展不同的节点来满足性能的需求，而且利用了多节点之间的并行性，有效的提升了重删系统的性能，提供高效可靠的服务。

公开(公告)号：CN103970875B

公开(公告)日：2017-02-15

申请号：CN201410204599.0

申请日：2014-05-15

Applicant: 华中科技大学

Inventor： 曹强 ,  万胜刚 ,  林川 ,  黄国强 ,  谢长生

IPC: G06F17/30

Abstract: 本发明公开了一种并行重复数据删除方法，包括以下步骤：客户端先对要重删的数据进行分块，然后通过哈希函数计算出每个分块的哈希指纹，然后把哈希指纹发送到不同的重删服务器节点上进行指纹的查重工作。如果某个指纹经过对比，确认是重复的指纹，则只用更新查询服务器上元数据和重删服务器节点上的指纹计数器。如果某个指纹经过对比，确认是一个新的数据块，则传输该数据块到重删服务器并且更新指纹库和查询服务器上的元数据。本发明具重删节点可扩展性，可根据不同的需求扩展不同的节点来满足性能的需求，而且利用了多节点之间的并行性，有效的提升了重删系统的性能，提供高效可靠的服务。