公开(公告)号：CN102298633B

公开(公告)日：2013-05-29

申请号：CN201110264866.X

申请日：2011-09-08

Applicant: 厦门市美亚柏科信息股份有限公司

Inventor： 陈志飞 ,  罗佳 ,  栾江霞

IPC: G06F17/30

Abstract: 本发明提供的分布式海量数据排重方法中，预先将数据库中所有数据的HASH值分为若干个HASH值集合并存储到至少两个节点服务器内存中，记录每个所述HASH值集合及其存放的节点服务器地址之间的映射关系；当接收到请求判断当前数据是否已存在的判断请求时，先计算当前数据的HASH值，确定当前数据的HASH值应该所处的HASH值集合所对应的节点服务器地址；随后比对判断当前数据的HASH值应该所处的HASH值集合所对应的节点服务器中是否有当前数据的HASH值，若是，则返回“当前数据已存在”的执行结果并结束流程；否则返回“当前数据不存在”的执行结果，并更新当前数据的HASH值应该所处的HASH值集合。

公开(公告)号：CN102298633A

公开(公告)日：2011-12-28

申请号：CN201110264866.X

申请日：2011-09-08

Applicant: 厦门市美亚柏科信息股份有限公司

Inventor： 陈志飞 ,  罗佳 ,  栾江霞

IPC: G06F17/30

Abstract: 本发明提供的分布式海量数据排重方法中，预先将数据库中所有数据的HASH值分为若干个HASH值集合并存储到至少两个节点服务器内存中，记录每个所述HASH值集合及其存放的节点服务器地址之间的映射关系；当接收到请求判断当前数据数据是否已存在的判断请求时，先计算当前数据的HASH值，根据预先记录的HASH值集合和节点服务器地址之间的映射关系确定当前数据的HASH值及其应该所处的HASH值集合所对应的节点服务器地址；随后比对判断当前数据的FASH值应该所处的HASH值集合所对应的节点服务器中是否有当前数据的HASH值，若是，则返回“当前数据已存在”的执行结果并结束流程；否则返回“当前数据不存在”的执行结果，并更新当前数据的FASH值应该所处的HASH值集合。