-
公开(公告)号:CN104978151A
公开(公告)日:2015-10-14
申请号:CN201510345510.7
申请日:2015-06-19
Applicant: 浪潮电子信息产业股份有限公司 , 厦门大学
Abstract: 基于应用感知的重复数据删除存储系统中的数据重构方法,涉及计算机存储领域。充分利用所备份文件的文件类型信息,对所有文件按文件类型进行分类,再按文件类型对文件进行备份,以提高数据读取时的数据重构速度。由并行的数据写入阶段和数据读取阶段组成,所述备份文件的数据写入阶段由文件分类步骤、文件分块步骤、哈希指纹计算步骤、重复数据删除步骤和数据写入步骤顺序组成;所述备份文件的数据读取阶段由文件分类信息获取步骤、文件指纹信息获取步骤、文件数据块获取步骤、数据重构完成步骤顺序组成。通过改变传统重复数据删除过程中的数据写入方法以提高数据读取时的数据重构速度。
-
公开(公告)号:CN104978151B
公开(公告)日:2017-12-29
申请号:CN201510345510.7
申请日:2015-06-19
Applicant: 浪潮电子信息产业股份有限公司 , 厦门大学
Abstract: 基于应用感知的重复数据删除存储系统中的数据重构方法,涉及计算机存储领域。充分利用所备份文件的文件类型信息,对所有文件按文件类型进行分类,再按文件类型对文件进行备份,以提高数据读取时的数据重构速度。由并行的数据写入阶段和数据读取阶段组成,所述备份文件的数据写入阶段由文件分类步骤、文件分块步骤、哈希指纹计算步骤、重复数据删除步骤和数据写入步骤顺序组成;所述备份文件的数据读取阶段由文件分类信息获取步骤、文件指纹信息获取步骤、文件数据块获取步骤、数据重构完成步骤顺序组成。通过改变传统重复数据删除过程中的数据写入方法以提高数据读取时的数据重构速度。
-
公开(公告)号:CN105094709A
公开(公告)日:2015-11-25
申请号:CN201510534936.7
申请日:2015-08-27
Applicant: 浪潮电子信息产业股份有限公司 , 厦门大学
IPC: G06F3/06
Abstract: 一种固态盘存储系统的动态数据压缩方法,涉及计算机存储领域。充分利用存储系统中数据的冗余特性,通过动态的数据压缩技术减少这些冗余信息,减少写入的数据量,以此来缓解固态盘读写性能不对称的问题,同时提升固态盘的空间利用率和可靠性。在固态盘存储系统上设置压缩位图表和三个功能模块:负载监测模块、数据压缩模块和数据解压缩模块,由请求类型判断步骤、数据的压缩写入步骤和数据的解压缩读取步骤组成。根据系统的当前负载状态,动态地对写入的数据进行压缩,既不影响系统的服务能力,又能对写入数据进行充分的压缩,更多地减少写入数据,提升固态盘存储设备的性能和可靠性。
-
公开(公告)号:CN118092799A
公开(公告)日:2024-05-28
申请号:CN202410224135.X
申请日:2024-02-29
Applicant: 厦门大学
Abstract: 本发明一种基于重复数据删除的闪存性能和可靠性提升方法及系统,在固态盘上设置闪存重复数据删除系统的指纹索引表、重复数据删除功能、读写干扰检测功能、读请求位置重定向功能和数据恢复功能;当服务写入请求的时候,通过检测索引表来判断该请求是否需要删除,如果写请求的引用次数达到阈值需要将该数据进行备份;当服务读请求的时候,通过读写干扰模块检测数据读取的过程中是否被正在执行的写请求干扰,如果确定被写请求干扰则通过读请求位置重定向功能访问备份数据的位置。本发明在减少闪存空间开销的基础上,优化了因闪存读写干扰而带来的闪存性能下降问题,同时优化了因重复数据删除技术而导致的数据可靠性问题。
-
公开(公告)号:CN117992279A
公开(公告)日:2024-05-07
申请号:CN202311805718.3
申请日:2023-12-26
Applicant: 厦门大学
IPC: G06F11/14
Abstract: 本发明公开了一种基于DPU的纠删编解码卸载方法及DPU存储架构,将EC编解码功能分成三个部分,分别为存储数据、读取数据和恢复数据;所有数据的EC编解码与数据分布策略计算都由DPU去实现,CPU主要功能为检测本存储节点各个SSD与DPU的健康状况,与各个SSD空余空间状况。本发明一种基于DPU的EC编解码卸载方法与为其方法设定的一种专用高效率全硬件可实现DPU存储架构,通过DPU能够更快地处理相关数据计算,将CPU从EC编解码相关事务中完全释放。
-
公开(公告)号:CN116820343A
公开(公告)日:2023-09-29
申请号:CN202310801832.2
申请日:2023-06-30
Applicant: 杭州海康威视数字技术股份有限公司 , 厦门大学
IPC: G06F3/06 , G06F16/2453 , G06F16/22 , G06F16/215
Abstract: 本发明公开了一种基于变长指纹的数据重删方法、装置及可读介质,对输入文件进行分块,根据数据块的长度采用不同的哈希算法计算数据块对应的指纹;响应于在LRU缓存中查询不到该指纹,则根据该指纹所对应的哈希算法在不同的持久化存储介质中查询;响应于在持久化存储介质中查询到该指纹,将该指纹和元数据存入LRU缓存中,并利用局部性原理将包含该指纹的输入文件中同属于同一持久化存储介质的指纹全部存入LRU缓存中;响应于在持久化存储介质中查询不到该指纹,则构建该指纹的元数据并存储在对应的持久化存储介质,并将该指纹对应的数据块存储在开放容器中,在持久化存储介质中采用对应格式的指纹存储文件对元数据进行分类存储,加快查找。
-
公开(公告)号:CN115481055A
公开(公告)日:2022-12-16
申请号:CN202211166847.8
申请日:2022-09-23
Applicant: 厦门大学
IPC: G06F12/1009 , G06F12/02 , G06F12/0866
Abstract: 本发明提出一种基于多段线性回归模型的固态盘地址转换加速方法,包括初始化步骤、数据写操作步骤、垃圾回收与模型训练步骤以及数据读操作步骤;在固态盘的内存中为闪存中的全局映射表分组建立低开销的多段线性回归模型,并随固态盘的垃圾回收周期性更新。对于无法在需要局部性的热映射表中命中的逻辑页号,可以在模型中尝试命中,极大地减少了固态盘随机读场景下地址转换中的双读问题带来的查找开销,进而提高固态盘的随机读取性能。
-
公开(公告)号:CN110413454B
公开(公告)日:2022-04-05
申请号:CN201810404552.7
申请日:2018-04-28
IPC: G06F11/20
Abstract: 本申请实施例提供一种基于存储阵列的数据重建方法、装置及存储介质,该基于存储阵列的数据重建方法包括:当检测到第一成员盘出现故障时,获取预留阵列,存储阵列包括第一成员盘和至少两个第二成员盘,预留阵列包括第二成员盘的空闲空间;根据第二成员盘中数据,重建第一成员盘中的数据;将重建后的第一成员盘中的数据并行写入预留阵列。本申请实施例适用于固态硬盘阵列,且数据重建速率较高。
-
公开(公告)号:CN105045540B
公开(公告)日:2017-10-17
申请号:CN201510540940.4
申请日:2015-08-28
Applicant: 厦门大学
IPC: G06F3/06
Abstract: 一种固态盘阵列的数据布局方法,涉及计算机存储领域。固态盘阵列上设置四个功能模块即主控模块、请求处理模块、数据映射模块、数据读写模块和一致性维护模块,并设置一个数据映射表和多分块存储区域。包括初始化步骤、请求处理步骤、数据映射步骤、数据读/写步骤、一致性维护步骤和结束步骤。充分利用固态盘阵列的多种不同分块大小在读写操作和请求大小上的优势,综合使用多个分块大小而非单一地使用某一种分块大小,以提高固态盘阵列的整体性能。能够和固态盘阵列功能模块协同工作,并且可以被嵌入到现有的固态盘阵列系统中,包括硬件和软件固态盘阵列系统。适用于构造具有高性能、高可用性和高可靠性的固态盘存储系统。
-
公开(公告)号:CN119576881A
公开(公告)日:2025-03-07
申请号:CN202411790090.9
申请日:2024-12-06
Applicant: 厦门大学
IPC: G06F16/174 , G06F16/172
Abstract: 本发明公开了一种天文数据处理方法,包括以下步骤:对fits文件处理,以使fits文件由行式存储改为列式存储;提取并单独保存元数据,并使除元数据外的主要数据信息不间断的存储;对主要数据信息中的数值矩阵进行降噪处理,并单独保存噪声数据;通过多种预测方式对数值矩阵中除噪声之外的其他元素进行预测处理,并记录压缩率最小的预测方式及记录与其所对应的数值。利用天文数据中的局部性和存在噪声这些特点,对多维数值矩阵应用一种数值预测策略,通过这一预处理提高无损压缩率。首先对fits格式文件的数据排列方式进行重新组织,再对其中占比最大的数值数据进行噪声分离和数值预测,使有效数据更加集中,从而更适合被压缩。
-
-
-
-
-
-
-
-
-