公开(公告)号：CN116932281A

公开(公告)日：2023-10-24

申请号：CN202310811168.X

申请日：2023-07-04

Applicant: 南昌大学

Inventor： 张宇成 ,  夏昕 ,  邱际光 ,  张旭 ,  涂旭青 ,  于程远 ,  周金平

IPC: G06F11/14 ,  G06F9/455 ,  G06F16/13 ,  G06F16/16 ,  G06F16/174 ,  G06F16/172

Abstract: 本发明实施例提供了一种基于双维局部性的相似数据检测方法，包括：初始化空哈希表以记录本次备份中的数据块的容器的容器引用量，获取被数据去重和差量压缩处理完的数据块，如果其重复，且与差量块重复，则用该差量块的基准块更新哈希表；如果数据块不与差量块重复，则用系统内与数据块、重复的数据块更新哈希表；如果数据块、不重复，判断数据块、是否做了差量压缩；如果做了差量压缩，用数据块、的基准块更新哈希表；如果数据块、未做差量压缩，用数据块更新哈希表；统计哈希表中引用量大于预设的容器引用量阈值的容器号，写入新文件。本发明既可检测到绝大部分相似数据块，又能保证检测到的相似数据块具有高相似度。

公开(公告)号：CN116932280A

公开(公告)日：2023-10-24

申请号：CN202310810143.8

申请日：2023-07-04

Applicant: 南昌大学

Inventor： 张宇成 ,  夏昕 ,  武友新 ,  于程远 ,  肖伟东 ,  张旭 ,  邱际光

IPC: G06F11/14 ,  G06F16/16 ,  G06F16/17 ,  G06F16/174

Abstract: 本发明实施例提供了一种可实现数据重写的数据差量压缩方法、计算设备及存储介质，可适用于同时使用数据去重和数据重写，且使用差量压缩技术的备份系统，方法包括获取一个被数据去重和数据重写处理完的数据块C，判断是否是非重复数据块或者碎片块；如果是，采用相似数据检测在系统里查找数据块C的相似数据块，如果找到数据块C的相似数据块，判断相似数据块S所在的容器是否被数据重写技术标记为稀疏容器；如果相似数据块S所在的容器被标记为稀疏容器，做逆向差量压缩。本发明实施例提供的方法可在不降低数据重写技术的效率的前提下，获取到稀疏容器中的相似数据块带来的差量压缩收益。