在闪存存储系统中延迟持久化索引元数据的方法

    公开(公告)号:CN103268291A

    公开(公告)日:2013-08-28

    申请号:CN201310195832.9

    申请日:2013-05-23

    Applicant: 清华大学

    Inventor: 舒继武 陆游游

    Abstract: 本发明提出一种在闪存存储系统中延迟持久化索引元数据的方法,包括以下步骤:S1:闪存存储系统在写数据时生成数据的数据类型和反向索引,并将反向索引一同写入闪存;S2:根据数据、数据类型和反向索引建立内存正向索引,并使用待持久化索引列表标记未写入内存正向索引的数据;S3:通过更新窗口跟踪尚未建立正向索引的数据;以及S4:当闪存存储系统发生故障时,根据更新窗口的数据类型和反向索引重构正向索引以恢复闪存存储系统的故障。根据本发明实施例的方法,通过反向索引延迟了正向索引的持久化,减少了数据写操作的延迟,避免了用于被索引数据与索引元数据的事务操作开销,同时降低了更新窗口元数据持久化带来的竞争延迟。

    海量数据分级存储评测系统

    公开(公告)号:CN102004677B

    公开(公告)日:2012-07-25

    申请号:CN201010531952.8

    申请日:2010-11-04

    Applicant: 清华大学

    Abstract: 海量数据分级存储评测系统属于计算机系统评测领域,尤其涉及其中分级存储系统评测领域。本发明的特征在于通过快照还原一个真实的文件系统场景,同时通过比较相邻两快照之间的差别确定后续将要被访问的文件;根据两快照间文件属性信息的不同和已有的文件访问特征对文件访问请求进行加密处理,从而提供一个真实的文件系统场景及相应的后续文件访问请求,并将文件访问请求在生成的文件系统场景上进行播放,模拟真实环境中分级存储系统的应用情况,最终有效的实现对分级存储系统的评测与分析。

    基于组密钥服务器的共享加密文件系统中的密钥管理方法

    公开(公告)号:CN101159556B

    公开(公告)日:2011-01-26

    申请号:CN200710177068.7

    申请日:2007-11-09

    Applicant: 清华大学

    Abstract: 基于组密钥服务器的共享加密文件系统中的密钥管理方法属于存储安全领域,其特征在于:组密钥服务器处理系统中的各种密钥管理请求,并实施严格的用户身份认证和访问权限检查,客户端通过向组密钥管理器发送请求进行密钥操作;采用扩展访问控制列表的组织密钥信息,包括文件密钥,用户ID和访问权限,组密钥服务器使用自己的秘密密钥保护其机密性和完整性;客户端实现了密钥缓存功能,减少了与组密钥服务器的通信次数;系统采用了延迟加密技术实现密钥撤消,将重新加密文件的时机推迟到文件内容更新时,最大限度地降低了密钥撤消操作对系统性能的影响。

    高速缓存替换策略的动态选择方法

    公开(公告)号:CN101236530B

    公开(公告)日:2010-09-01

    申请号:CN200810057172.7

    申请日:2008-01-30

    Applicant: 清华大学

    Abstract: 高速缓存替换策略的动态选择方法属于存储系统高速缓存领域,其特征在于:通过统一的接口将高速缓存替换策略模块化,可以在任意两个高速缓存替换策略之间进行在线切换,可以部署新的高速缓存替换策略;异步进行访问记录采集和分析,CPU和内存开销较小,对应用影响较小;多轮策略选择可以尽快得到比较准确的决策结果,既保证快速将结果投入使用,也尽量减少方法的开销。

    文件系统访问记录的动态采集方法

    公开(公告)号:CN100583099C

    公开(公告)日:2010-01-20

    申请号:CN200810055895.3

    申请日:2008-01-11

    Applicant: 清华大学

    Abstract: 文件系统访问记录的动态采集方法属于存储系统的测试和性能分析领域,其特征在于:无需卸载旧文件系统即可加载内核模块,因此无需打断正在运行的应用。文件系统操作拦截模块能够动态地拦截底层文件系统操作,将其替换成拦截模块中对应的函数。这些函数在执行底层文件系统操作的同时输出操作的类型和参数到访问记录输出模块。该模块将文件记录压缩,然后采用带缓存的记录输出,将多次操作的信息一次输出。访问记录输出模块控制输出文件的大小,防止文件过大带来的读写困难和超过文件系统限制等问题。访问记录文件管理模块搜集附加信息,并按照用户的指定打包和传输访问记录,方便用户的管理。测试表明访问记录的采集对于应用的影响很小。

    大规模容错磁盘阵列存储系统的双磁头用户数据更新方法

    公开(公告)号:CN101349979A

    公开(公告)日:2009-01-21

    申请号:CN200810119676.7

    申请日:2008-09-05

    Applicant: 清华大学

    Inventor: 舒继武 李明强

    Abstract: 大规模容错磁盘阵列存储系统的双磁头用户数据更新方法属于容错磁盘阵列存储系统技术领域,其特征在于,在一个由磁盘阵列、存储适配器、存储有存储操作系统的内存和处理器共同组成的基于纠删码的容错磁盘阵列存储系统中,先利用读操作从磁盘上读出旧的用户数据块,并在磁盘上用新的用户数据块覆盖旧的用户数据块,同时,利用异或运算求出新、旧两个用户数据块的差分值,再根据所采用的纠删码中各个校验数据块关于用户数据块的乘积系数计算出各个校验数据块的更新差分值,最后利用双磁头磁盘驱动器结构磁盘中基于位级别流水线技术的复合操作完成各个校验数据块的更新操作。实验表明,本发明显著地减少了I/O操作个数,缩短了I/O平均响应时间。

    大规模磁盘阵列存储系统的磁盘容错方法

    公开(公告)号:CN101339524A

    公开(公告)日:2009-01-07

    申请号:CN200810112275.9

    申请日:2008-05-22

    Applicant: 清华大学

    Inventor: 舒继武 李明强

    Abstract: 大规模磁盘阵列存储系统的磁盘容错方法属于存储系统的磁盘容错技术领域,其特征是:首先,通过执行计算机可读媒体里面的初始化程序,将所有磁盘进行条带化处理,并将每个条带中的所有条块在逻辑上配置成多维(包括二维)网格结构,同时将网格上同一个平面内排列成一行或一列的所有条块配置成一个子条带;然后,通过执行计算机可读媒体里面的数据编码程序,选择一组由奇偶阵列码和单奇偶校验码这两类纠删码组成的匹配码,对每个方向的子条带进行编码;最后,当磁盘阵列中单个或多个磁盘的部分数据丢失或整个磁盘出错时,通过执行计算机可读媒体里面的数据重构程序,采用一种迭代的数据重构方法对磁盘阵列中丢失的数据进行重构恢复。

    基于存储区域网络SAN的集群分布式锁管理方法

    公开(公告)号:CN101252603A

    公开(公告)日:2008-08-27

    申请号:CN200810103809.1

    申请日:2008-04-11

    Applicant: 清华大学

    Abstract: 基于存储区域网络SAN的分布式锁管理方法属于网络存储领域,其特征在于:集群各节点服务器构成多重主从式子集群,即Quorum,子集群中一个节点作为主服务器,其他均为从属服务器;多重子集群包括一个State Quorum和若干个Lock Quorum,分别负责系统节点生灭状态的管理和名字空间中读写访问锁的管理;State Quorum由所有节点构成,Lock Quorum可由任意数量的节点构成,其大小及构成可由用户灵活配置;不论是State Quorum,还是Lock Quorum,都遵循子集群侦测协议,通过该协议,各节点能够选举Quorum中的唯一主服务器,构建正常态的Quorum;各个Lock Quorum分管名字空间的不同分段且互不交叠,按照服务能力分别被赋予不同的权值。各Lock Quorum独立统计自己的负载情况,当一个Lock Quorum所负担的锁管理任务过于繁重时,触发负载平衡过程,将本Lock Quorum的部分任务分流给其他Lock Quorum。本发明易于灵活配置,具有良好的性能、高可扩展性以及高可靠性。

    基于存储区域网络的高速固态存储设备的实现方法

    公开(公告)号:CN100405304C

    公开(公告)日:2008-07-23

    申请号:CN200610088932.1

    申请日:2006-07-27

    Applicant: 清华大学

    Abstract: 本发明属于存储区域网络SAN存储技术领域,其特征在于:它将SAN中前端服务器和目标服务器节点上富余的DRAM内存资源组织起来形成高速虚拟磁盘设备TH-SSD,为用户提供与普通磁盘一致的读写访问接口。此方法采用虚拟技术将原本分散的内存资源映射到连续一致的虚拟磁盘地址空间,前端应用发出的对TH-SSD的数据访问请求均为对虚拟磁盘的请求。在实现上,采用了x86平台的内存扩展技术,扩展了可用的虚拟磁盘空间;采用了双日志双备份磁盘镜像策略保证TH-SSD中数据的完整性;实现了对FC SAN与IP SAN的无缝支持,使得TH-SSD在光纤网络和以太网络环境下都能很好地工作。

    海量网络存储器设备及其实现方法

    公开(公告)号:CN100336050C

    公开(公告)日:2007-09-05

    申请号:CN03109133.4

    申请日:2003-04-04

    Applicant: 清华大学

    Abstract: 海量网络存储器设备及其实现方法属于计算机存储系统结构领域,其特征在于:它是一种基于多计算机体系机结构,由主机节点和多个I/O处理节点组成的网络存储设备;它含有:作为控制中心的主机节点,作数据存储、光纤通道协议处理用的I/O处理节点,基于高速互连用的Myrinet互联网络,高密度磁盘阵列;它们彼此之间通过Myrinet的互联高性能网络通信,相互发送存储请求并做对应的处理。相应地,为光纤通道接口卡开发了目标器模式的光纤通道协议固件和驱动程序,以实现光纤通道之间的客户/服务器关系,并实现基于软件的按照完整SCSI协议实现的处理SCSI命令和消息的SCSI目标模拟器。它是一种高性能价格比、高扩展性的多计算机体系结构,可以很好地兼容所有厂商的海量网络存储器通信设备。

Patent Agency Ranking