一种可扩展的基于对象的存储系统及其控制方法

    公开(公告)号:CN100367727C

    公开(公告)日:2008-02-06

    申请号:CN200510019166.9

    申请日:2005-07-26

    Abstract: 一种可扩展的基于对象的存储系统及其控制方法,属于计算机信息存储技术领域,目的在于克服现有海量存储系统的系统结构和用户服务模式的不足,将文件、块方式结合起来提出一种全新的对象接口。系统包括通过网络连接的I个元数据服务器、N个对象存储节点以及M个客户端;客户端、对象存储节点、元数据服务器之间实现三方通信,系统可扩展性强,系统存储容量与数据传输集合带宽可同步增长,并且,基于对象的存储使系统具有自适应能力。本发明改变了传统的数据管理和控制方式,对象存储节点OSN完成传统文件系统繁琐的底层数据管理功能,MS实施元数据管理。系统在对象存储的基础上实现了自适应的管理功能。

    面向DFS的全局命名空间下的持久客户端缓存方法及系统

    公开(公告)号:CN110750507B

    公开(公告)日:2022-09-20

    申请号:CN201910938134.0

    申请日:2019-09-30

    Abstract: 本发明公开了一种面向DFS的全局命名空间下的持久客户端缓存方法及系统,属于大规模分布式系统领域,包括:由元数据服务器维护全局目录树的视图,所有客户端共享该视图,且所有客户端可通过该视图访问任意文件;客户端根据缓存预取规则识别需要预取的文件,并将该文件从对象存储服务器迁移至本地进行持久化缓存;在客户端本地缓存的数据量超过缓存阈值时,将客户端本地已缓存的数据替换出;客户端进行文件操作时,若待操作的文件已缓存到客户端本地,且客户端有相应的操作权限,则直接访问本地缓存的文件并完成操作;否则,通过网络远程访问对象存储服务器中的文件并完成操作。本发明能够简化分布式文件系统的数据管理,同时减少网络资源开销。

    基于字典树的索引结构、数据查询优化方法、主存管理器

    公开(公告)号:CN110347685B

    公开(公告)日:2021-08-20

    申请号:CN201910579338.X

    申请日:2019-06-28

    Inventor: 曾令仿 程稳

    Abstract: 本发明公开了基于字典树的索引结构、数据查询优化方法、主存管理器,属于数据存储领域。索引结构由容器组成,容器存储T节点和S节点,完整键被划分为部分键,T节点存储部分键的前m/2位,S节点存储部分键的后m/2位,从字典树的根节点到某一节点路径上经过的部分键连接起来,形成完整键。索引结构更为紧凑,从而提高主存空间利用率。使用跳后继将T节点直接跳转到后续兄弟节点,从而减少比较次数,提升查找性能;使用T节点跳表将T节点跳转到S节点,使用容器跳表将S节点跳转到T节点,直接跳到最近的目标,从而跳过大量不必要的条目,提升的找性能。由主存管理器解析出的包含各个层次结构ID的指针P,将索引结构与主存地址完全解耦。

    基于时间序列预测的海量小文件存储性能优化方法及系统

    公开(公告)号:CN110968272B

    公开(公告)日:2021-01-01

    申请号:CN201911291844.5

    申请日:2019-12-16

    Abstract: 本发明公开了一种基于时间序列预测的海量小文件存储性能优化方法,属于信息存储领域,包括:收集带有时间信息的历史文件访问记录,得到数据集;将数据集预处理为离散的时间序列数据后,使用时间窗口在其上滚动产生训练数据集合,任意t时刻的训练数据以t‑n~t时刻的数据为输入数据,并以t+1时刻的数据为标签数据;基于循环神经网络建立时间序列预测模型,并利用由训练数据集合划分得到的训练集、验证集和测试集依次进行训练、验证与测试,从而得到目标模型;利用目标模型预测文件大小的变化趋势,以识别出其中的大文件和小文件;将大文件直接存储,将小文件基于时间序列聚合后存储。本发明能够优化海量小文件在分布式存储系统中的存储性能。

    一种I/O拥塞控制方法及控制系统

    公开(公告)号:CN109471847B

    公开(公告)日:2020-06-09

    申请号:CN201811083583.3

    申请日:2018-09-18

    Abstract: 本发明公开了一种I/O拥塞控制方法及系统,包括:在服务端获得当前观测时间戳下各节点上报的性能指标数据并预处理,作为观测数据;通过聚类分析得到当前负载类别,并由此将观测数据存储到重放数据库中;分别从重放数据库和观测数据中随机提取多条历史性能指标数据,以得到训练数据集;构建基于神经网络的回报奖励值计算模型,并利用训练数据集训练回报奖励值计算模型;选定一个调控动作,并利用回报奖励值计算模型计算相应的回报奖励值;重复此步骤,以获得最大的回报奖励值所对应的目标调控动作;将目标调控动作广播至所有节点,以由此设置各节点的参数。本发明能够在避免集群产生I/O拥塞,同时提高系统I/O吞吐率并降低可控I/O延迟。

    一种基于3D堆叠内存的快速重复数据块识别方法

    公开(公告)号:CN109240605B

    公开(公告)日:2020-05-19

    申请号:CN201810937496.3

    申请日:2018-08-17

    Abstract: 本发明公开了一种基于3D堆叠内存的快速重复数据块识别方法,该方法包括以下步骤:将数据块指纹发送至3D堆叠内存;在3D堆叠内存中完成数据块指纹的检索和存储;3D堆叠内存将指纹检索结果返回至CPU。本发明通过使用3D堆叠内存来存储数据块指纹,3D堆叠内存由多个DRAM芯片和一个逻辑层芯片堆叠而成,并通过TSV技术连接,逻辑层通过TSV访问存储层而不需要通过数据总线,速度较快,避免了总线上不必要的数据移动,减少了访问内存的时间;本发明通过将数据指纹分类,将存储芯片分区,每类指纹存储在一个分区中,并在逻辑层嵌入多个计算单元和一个路由,路由将数据指纹转发到各计算单元,避免了计算单元之间的通信开销,降低了指纹查找过程中的能耗。

    一种基于闪存的固态盘的数据安全删除方法

    公开(公告)号:CN105608394A

    公开(公告)日:2016-05-25

    申请号:CN201510988245.4

    申请日:2015-12-22

    CPC classification number: G06F21/78

    Abstract: 本发明公开了一种基于闪存的固态盘的数据安全删除方法,利用固态盘中多个数据通道可并行操作的特点,采用改进的秘密共享方案,对数据进行转换处理,将编码后的数据分发到各个数据通道,一方面,编码保证数据冗余,且转换后的数据为密文,提高数据可靠性与安全性;另一方面,利用容错编码的特性,对数据的删除不再需要对整个数据进行覆盖写,而是删除部分数据,破坏数据完整性,使数据无法恢复。即使攻击者得到部分编码数据,也不能获取明文,达到数据安全删除的目的。本发明解决了固态盘的存储不可靠、文件无法安全删除等数据存储安全问题。

    一种RAID6级别混合磁盘阵列及其性能加速和可靠性提高方法

    公开(公告)号:CN102662607B

    公开(公告)日:2014-10-29

    申请号:CN201210087523.5

    申请日:2012-03-29

    Abstract: 本发明公开了一种RAID6级别混合磁盘阵列,包括数个固态盘,用于存储数据;两个磁盘,各磁盘中的部分空间作为校验盘空间,剩余空间作为镜像日志区,且镜像日志区中数据块的位置索引信息记录在一块日志链表中;和管理控制单元,用于控制上层应用程序对该阵列的访问,具体包括:监控模块、数据分发模块和数据回收模块,监控模块用于监控应用程序的I/O访问并识别出其中的写数据,数据分发模块用于将监控模块识别到的写数据分发到固态盘或镜像日志区中,数据回收模块用于将写数据从镜像日志区回收至固态盘。本发明还公开了一种上述阵列的性能加速和可靠性提高方法。本发明可用于各种负载突发的存储环境,适用于构建具有高性能、高可靠性的存储系统。

    一种无需可信第三方支持的云端数据安全删除系统与方法

    公开(公告)号:CN103595793A

    公开(公告)日:2014-02-19

    申请号:CN201310571425.3

    申请日:2013-11-13

    Abstract: 本发明公开了一种无需可信第三方支持的云端数据安全删除系统与方法,系统包括分布式哈希表网络,用于存放解密密钥碎片;用户端,用于文件加密、解密和密钥信息删除,包括:文件加密模块、文件解密模块、密钥分发与重组模块、本地密钥信息模块和文件删除模块,文件加密和解密模块用于对文件加解密,密钥分发与重组模块用于对密钥分片和重组,本地密钥信息模块用于存储相关密钥信息,文件删除模块用于删除密钥信息;云端,提供数据服务器和密钥管理服务器,用于存储数据密文和密钥信息,包括:数据服务器和密钥管理服务器,数据服务器用于存放文件密文,密钥管理服务器用于管理密钥相关信息。本发明可用于云存储环境,以保护用户端数据隐私。

    一种RAID6级别混合磁盘阵列及其性能加速和可靠性提高方法

    公开(公告)号:CN102662607A

    公开(公告)日:2012-09-12

    申请号:CN201210087523.5

    申请日:2012-03-29

    Abstract: 本发明公开了一种RAID6级别混合磁盘阵列,包括数个固态盘,用于存储数据;两个磁盘,各磁盘中的部分空间作为校验盘空间,剩余空间作为镜像日志区,且镜像日志区中数据块的位置索引信息记录在一块日志链表中;和管理控制单元,用于控制上层应用程序对该阵列的访问,具体包括:监控模块、数据分发模块和数据回收模块,监控模块用于监控应用程序的I/O访问并识别出其中的写数据,数据分发模块用于将监控模块识别到的写数据分发到固态盘或镜像日志区中,数据回收模块用于将写数据从镜像日志区回收至固态盘。本发明还公开了一种上述阵列的性能加速和可靠性提高方法。本发明可用于各种负载突发的存储环境,适用于构建具有高性能、高可靠性的存储系统。

Patent Agency Ranking